2 дня назад
Инженер данных (Apache Iceberg)
RUВакансия из Hirify RU, списка российских tech-компаний
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер данных (Apache Iceberg): Миграция и развитие витрин данных с Hadoop на Apache Iceberg, Spark 3.5 и Apache Airflow с акцентом на построение реплик, переработку решений и тестирование. Фокус на работе с хранилищами Hadoop/S3, форматами Parquet, автоматизацией процессов и поддержании технической документации.
Локация: удалённая работа из России, гибкий график
Компания
Usetech — стабильная аккредитованная ИТ-компания.
Что делать
- Анализировать существующие решения и витрины данных.
- Мигрировать витрины данных со стека Hadoop на Apache Iceberg, Spark 3.5 и Apache Airflow.
- Реализовывать недостающие реплики и перерабатывать существующие решения на целевом стеке.
- Строить и развивать витрины данных, участвовать в их тестировании.
- Наполнять и актуализировать техническую документацию.
Требования
- От 3 до 6 лет опыта в ИТ.
- Уверенные знания SQL и Python.
- Опыт работы с Apache Spark, Apache Iceberg и Apache Airflow.
- Практический опыт работы с хранилищами данных на базе Hadoop и S3.
- Понимание форматов хранения данных, включая Parquet.
- Опыт работы с Git, CI/CD, Jira и Confluence.
- Базовые знания Kafka.
Культура и преимущества
- Удалённая работа и гибкий график.
- Расширенный полис ДМС со стоматологией.
- Обучение и сертификация.
- Клуб английского языка.
- Карьерные и профессиональные возможности.
- Геймифицированная программа лояльности.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка