Data Engineer (ETL-миграция)

Локация: удалённая работа

Зарплата: от 270 000 до 285 000 ₽ в месяц

Компания

Top Selection занимается трудоустройством IT-специалистов на проектную занятость.

Что делать

• Мигрировать ETL-систему телеком-оператора с Oracle/Informatica на Apache стек, включая S3, Airflow, NiFi, Kafka и Greenplum.
• Переносить бизнес-логику из Informatica в высокопроизводительный SQL-код.
• Разрабатывать и оптимизировать SQL для витрин данных и ETL-процессов.
• Разрабатывать DAG-и в Airflow, пайплайны в NiFi и Spark-джобы на PySpark.
• Интегрировать Kafka для потоковой передачи данных и настраивать мониторинг в Grafana/Prometheus.
• Разбирать инциденты, связанные с качеством данных и ошибками загрузки, а также проводить code review.

Требования

• Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache стек.
• Глубокое знание SQL: оконные функции, сложные соединения, иерархические запросы и оптимизация для высоконагруженных систем.
• Опыт работы с Oracle PL/SQL, PostgreSQL, Greenplum и/или ClickHouse.
• Навыки проектирования архитектур на Apache Spark, PySpark, NiFi и Airflow.
• Знание Hadoop, HDFS, Hive и инструментов мониторинга ETL.
• Опыт работы с биллинговыми системами; телеком-домен будет преимуществом.

Хорошо, если есть

• Опыт с Kafka Streams или Spark Streaming.
• Знание Informatica PowerCenter, бинарных форматов Hadoop и S3-хранилищ.
• Понимание различий Hive и Impala, Greenplum и PostgreSQL, ClickHouse и PostgreSQL.
• Опыт использования Patroni, КриптоПро или защищённых каналов передачи данных.

Культура и преимущества

• Удалённый формат работы.
• Проектная занятость в задачах миграции корпоративной ETL-системы.
• Работа с высоконагруженными системами и большими объёмами данных.