У проекта понятные задачи в дата-инжиниринге и современный стек, но срочный договор до 2029 года может не подойти, если вы ищете постоянную занятость.
Срочный договор
Современный стек
Чёткие задачи
Масштабный проект
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Data Engineer (Apache Airflow): Миграция ETL-процессов корпоративного хранилища данных с Oracle Data Integrator на Apache Airflow с акцентом на разработку DAG-ов, обработку данных и контроль качества. Фокус на реверс-инжиниринге ODI-сценариев, проектировании ETL/ELT-пайплайнов, настройке мониторинга и CI/CD-деплоя.
Локация: Москва; удалённый формат работы.
Компания
Проект выполняется для команды технологического развития корпоративного хранилища данных МегаФона; трудоустройство — в аккредитованную ИТ-компанию ООО «МегаТех».
Что делать
Анализировать пакеты ODI, извлекать метаданные, фиксировать бизнес-логику и выполнять реверс-инжиниринг сценариев.
Проектировать и реализовывать миграцию ETL-логики из ODI в DAG-и Apache Airflow.
Разрабатывать ETL/ELT-пайплайны с использованием Python, SQL и PySpark.
Настраивать проверки качества данных, алерты и дашборды мониторинга.
Управлять CI/CD, деплоем DAG-ов, версионированием, тестированием и зависимостями Python- и PySpark-пакетов.
Документировать решения и передавать знания.
Требования
Высшее техническое, математическое или экономическое образование.
От 3 лет опыта работы в роли дата-инженера.
Практический опыт миграции или глубокой поддержки ETL-решений, включая понимание пакетов, переменных, маппингов и планировщиков.
Уверенное применение Python для DAG-ов и кастомной логики, SQL для сложных запросов и оптимизации, PySpark для пакетной обработки данных.
Опыт работы с Apache Airflow: архитектура, дизайн DAG-ов, операторы, хуки, сенсоры, обработка ошибок, backfill, переменные и конфигурации.
Опыт работы с Git, базовые навыки CI/CD, понимание версионирования и тестирования кода.
Опыт контейнеризации в Docker и деплоя DAG-ов в контейнерной среде.
Навыки формирования Python-пакетов для переносимости Spark-логики.
Знание dbt, инструментов моделирования данных, подходов к слоям DWH и настройки мониторинга с Prometheus/Grafana и Airflow UI.
Культура и преимущества
Удалённый формат работы.
Срочный трудовой договор до 31.12.2029.
Работа над масштабной миграцией корпоративного хранилища данных.
Трудоустройство в аккредитованную ИТ-компанию ООО «МегаТех».
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →