Не получаете ответ?
Telegram-вакансии старше 7 дней могут быть уже неактуальны.
Data Engineer (ETL-миграция) Senior
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
🚀 Data Engineer (ETL-миграция) Senior
Ищем Data Engineers для участия в масштабном проекте миграции ETL-системы телеком-оператора с Oracle/Informatica на Apache-стек.
🏢 Сфера: Телекоммуникации
👤 Грейд: Senior
📍 Локация и гражданство: РФ
🏠 Формат: удалённо
📄 Оформление: только по ИП
🕘 Занятость: Full-time
⏰ График: МСК ±2 часа
🛠 Ключевой стек:SQL, Oracle (PL/SQL), PostgreSQL, Greenplum / ClickHouse, Apache Spark (PySpark), Apache NiFi, Apache Airflow, Hadoop (HDFS), Hive, Kafka, S3, Grafana, Prometheus / VictoriaMetrics.
📌 Задачи:
-Миграция ETL-системы с Oracle/Informatica на Apache-стек.
-Перенос бизнес-логики из Informatica в высокопроизводительный SQL.
-Разработка и оптимизация SQL-запросов для витрин данных и ETL-процессов.
-Разработка DAG-ов в Airflow и настройка пайплайнов в NiFi.
-Разработка Spark-джобов (PySpark) для обработки больших объёмов данных.
-Интеграция с Kafka для потоковой передачи данных.
-Настройка мониторинга ETL-процессов и отслеживание метрик.
-Анализ инцидентов, связанных с качеством данных и ошибками загрузки.
-Проведение Code Review.
✅ Обязательные требования:
-Опыт миграции ETL-систем, желательно с Oracle/Informatica на Apache-стек.
-Глубокое знание SQL: оконные функции, сложные JOIN, иерархические запросы.
-Опыт оптимизации SQL для Highload: партиционирование, индексы, Explain Plans.
-Уверенное владение Oracle (PL/SQL) и PostgreSQL.
-Опыт работы с Greenplum и/или ClickHouse.
-Опыт проектирования решений на Apache Spark (PySpark), NiFi, Airflow.Знание Hadoop (HDFS) и Hive.
-Опыт мониторинга ETL через Grafana/Prometheus или VictoriaMetrics.
-Опыт работы с биллинговыми системами (телеком-домен будет преимуществом).
⭐ Будет плюсом:
-Kafka Streams / Spark Streaming.Informatica PowerCenter.
-Бинарные форматы хранения данных в Hadoop.
-Понимание различий Hive / Impala, Greenplum / PostgreSQL, ClickHouse / PostgreSQL.
-Patroni для кластеризации PostgreSQL/Greenplum.
-Опыт работы с S3-хранилищами.
📩 Заинтересовала вакансия? Присылайте резюме в Telegram
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений