Data Engineer (ETL-миграция)

🧠😘😀😘😘🥰😀🫢

Data Engineer (ETL-миграция)

Проект
Участие в миграции ИС на Apache стек
Телекоммуникации

- Локация: РФ
- Гражданство: РФ
- Формат: Удаленно


Data Engineer (ETL-миграция)
Уровень: Middle+, Senior



Обязательно:

- Опыт миграции ETL-систем (желательно с Oracle/Informatica на Apache стек);
- Глубокий SQL: оконные функции, сложные джойны, иерархические запросы;
- Оптимизация SQL для highload (партиционирование, индексы, explain plans);
- Oracle (PL/SQL) и PostgreSQL;
- Greenplum и/или Clickhouse;
- Проектирование архитектур на Apache Spark (PySpark), NiFi, Airflow;
- Hadoop (HDFS) и Hive;
- Мониторинг ETL: Grafana/Prometheus или Victoria Metrics;
- Опыт работы с биллинговыми системами (желательно телеком-домен).

Желательно:
- Потоковая обработка: Kafka Streams / Spark Streaming;
- Informatica PowerCenter (понимание мигрируемой системы);
- Бинарные форматы хранения в Hadoop;
- Различия: Hive vs Impala, Greenplum vs PostgreSQL, Clickhouse vs PostgreSQL;
- Patroni для кластеризации PostgreSQL/Greenplum;
- S3-хранилища;
- КриптоПро или защищенные каналы передачи данных.

Задачи:

- Миграция ETL-системы телеком-оператора с Oracle/Informatica на Apache стек (S3, Airflow, NiFi, Kafka, Greenplum);
- Перенос бизнес-логики из Informatica в высокопроизводительный SQL-код;
- Написание и оптимизация SQL для витрин данных и ETL-процессов;
- Разработка DAG-ов в Airflow;
- Настройка пайплайнов в NiFi (источники: Oracle, PostgreSQL; приемники: S3, файловые архивы);
- Разработка Spark-джобов (PySpark) для больших объемов;
- Интеграция с Kafka для потоковой передачи;
- Настройка мониторинга (Grafana/Prometheus) и отслеживание метрик;
- Разбор инцидентов по качеству данных и ошибкам загрузки;
- Code review.



Ключевые компетенции
миграция ETL-систем,
SQL (оконные функции, оптимизация),
Oracle PL/SQL,
PostgreSQL, Greenplum, Clickhouse,
Apache Spark (PySpark), NiFi, Airflow, Kafka,
Hadoop, Hive,
Grafana/Prometheus,
биллинг, телеком.

Направить CV
Показать контакты