Назад
3 дня назад

Дата инженер (ETL)

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Дата инженер (ETL): Миграция ETL-логики из ODI в DAG Apache Airflow и разработка пайплайнов обработки данных с акцентом на реверс-инжиниринг, качество данных и автоматизацию деплоя. Focus on проектирование DAG, оптимизацию SQL и PySpark-обработки, мониторинг, тестирование и управление зависимостями в контейнерной среде.

Локация: удаленный формат; оформление по ТК РФ

Компания

МегаФон развивает направление BigData и проекты обработки данных в МегаТех.

Что делать

  • Анализировать пакеты ODI, извлекать метаданные и фиксировать бизнес-логику при реверс-инжиниринге сценариев.
  • Проектировать и реализовывать миграцию ETL-логики из ODI в DAG Apache Airflow.
  • Разрабатывать ETL/ELT-пайплайны с использованием Python, SQL и PySpark.
  • Настраивать проверки качества данных, алерты и дашборды мониторинга.
  • Управлять CI/CD, деплоем DAG, версиями кода, тестированием и зависимостями Python/PySpark-пакетов.
  • Документировать решения и передавать знания.

Требования

  • Высшее техническое, математическое или экономическое образование.
  • От 3 лет опыта работы в роли дата-инженера.
  • Практический опыт миграции или глубокой поддержки ETL-решений, включая ODI, Informatica, SSIS или аналогичные инструменты.
  • Понимание структуры ETL-пакетов, переменных, маппингов и планировщиков.
  • Уверенное знание Apache Airflow: архитектура, DAG-дизайн, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные и конфигурации.
  • Практический опыт работы с Python, сложными и оптимизированными SQL-запросами, PySpark для пакетной обработки данных.
  • Знание Git, базовых CI/CD, версионирования и тестирования кода.
  • Опыт контейнеризации в Docker и деплоя DAG в контейнерной среде.
  • Знание dbt, инструментов моделирования данных, подходов к слоям DWH и мониторинга через Prometheus/Grafana или Airflow UI.

Культура и преимущества

  • Удаленный формат работы и полный рабочий день по графику 5/2.
  • Оформление по ТК РФ и прозрачная система вознаграждения.
  • ДМС со стоматологией и компенсация мобильной связи.
  • Маркетплейс льгот и сервисов Mega4You.
  • Понятный карьерный маршрут, 2500 учебных программ в приложении МегаФон Драйв и программа поддержки сотрудников.
  • Корпоративное сообщество и календарь внутренних событий.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →