Data Engineer (ETL)

TL;DR

Data Engineer (ETL/Python/SQL): Разработка и оптимизация ETL/ELT-процессов загрузки и трансформации данных с акцентом на проектирование потоков обработки больших объёмов данных и интеграцию систем. Фокус на построении DWH и Data Lake, оптимизации сложных SQL-запросов и автоматизации обработки данных с помощью Python.

Локация: Гибридный график работы (РФ)

Компания

Крупная торговая компания с масштабной базой пользователей и собственной развитой IT-инфраструктурой.

Что делать

• Разработка, развитие и сопровождение ETL/ELT-процессов загрузки и трансформации данных.
• Проектирование и оптимизация потоков обработки данных.
• Разработка интеграционных решений между информационными системами.
• Участие в проектировании и развитии корпоративного хранилища данных (DWH).
• Мониторинг качества данных и оперативное устранение проблем.
• Оптимизация производительности SQL-запросов и ETL-процессов.

Требования

• Опыт работы Data Engineer или ETL-разработчиком от 3 лет.
• Уверенное знание SQL и опыт написания сложных запросов.
• Опыт работы с реляционными СУБД (PostgreSQL, Oracle, MS SQL Server или аналогами).
• Понимание принципов построения DWH, Data Lake и витрин данных.
• Опыт работы с инструментами ETL (Airflow, Informatica, DataStage, Talend, Pentaho или аналогами).
• Знание Python для автоматизации и обработки данных.

Хорошо, если есть

• Опыт работы с Apache Airflow, Kafka и Hadoop-экосистемой (Hive, Spark, HDFS).
• Понимание принципов Data Governance и Data Quality.
• Опыт контейнеризации (Docker, Kubernetes).
• Опыт работы по Agile/Scrum.
• Навыки написания автоматизированных тестов для ETL-процессов.

Культура и преимущества

• Официальное трудоустройство и возможности для профессионального роста.
• Гибридный график работы.
• Бесплатный служебный транспорт из всех районов города утром и вечером.
• Бесплатный спортзал на территории компании со штатным тренером.
• Скидки на товары компании и выгодные предложения от партнёров.
• Минимум бюрократии и высокая скорость принятия решений.