Назад
4 дня назад

Data Engineer (Apache Airflow)

Формат работы
remote (только Russia)
Тип работы
project
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Engineer (Apache Airflow): Миграция ETL-процессов корпоративного хранилища данных с Oracle Data Integrator на Apache Airflow с акцентом на разработку DAG-ов, обработку данных и контроль качества. Фокус на реверс-инжиниринге ODI-сценариев, проектировании ETL/ELT-пайплайнов, настройке мониторинга и CI/CD-деплоя.

Локация: Москва; удалённый формат работы.

Компания

Проект выполняется для команды технологического развития корпоративного хранилища данных МегаФона; трудоустройство — в аккредитованную ИТ-компанию ООО «МегаТех».

Что делать

  • Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику и выполнять реверс-инжиниринг сценариев.
  • Проектировать и реализовывать миграцию ETL-логики из ODI в DAG-и Apache Airflow.
  • Разрабатывать ETL/ELT-пайплайны с использованием Python, SQL и PySpark.
  • Настраивать проверки качества данных, алерты и дашборды мониторинга.
  • Управлять CI/CD, деплоем DAG-ов, версионированием, тестированием и зависимостями Python- и PySpark-пакетов.
  • Документировать решения и передавать знания.

Требования

  • Высшее техническое, математическое или экономическое образование.
  • От 3 лет опыта работы в роли дата-инженера.
  • Практический опыт миграции или глубокой поддержки ETL-решений, включая понимание пакетов, переменных, маппингов и планировщиков.
  • Уверенное применение Python для DAG-ов и кастомной логики, SQL для сложных запросов и оптимизации, PySpark для пакетной обработки данных.
  • Опыт работы с Apache Airflow: архитектура, дизайн DAG-ов, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные и конфигурации.
  • Опыт работы с Git, базовые навыки CI/CD, понимание версионирования и тестирования кода.
  • Опыт контейнеризации в Docker и деплоя DAG-ов в контейнерной среде.
  • Навыки формирования Python-пакетов для переносимости Spark-логики.
  • Знание dbt, инструментов моделирования данных, подходов к слоям DWH и настройки мониторинга с Prometheus/Grafana и Airflow UI.

Культура и преимущества

  • Удалённый формат работы.
  • Срочный трудовой договор до 31.12.2029.
  • Работа над масштабной миграцией корпоративного хранилища данных.
  • Трудоустройство в аккредитованную ИТ-компанию ООО «МегаТех».

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →