4 дня назад
Data Engineer / Technical Lead (Telecommunications)
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Data Engineer / Technical Lead (телекоммуникации): Миграция ETL-процессов с Informatica PowerCenter на стек NiFi, Airflow, Greenplum и SQL с акцентом на потоковую и пакетную обработку данных, сложный SQL и контроль качества данных. Focus on проектировании и отладке Airflow DAGs, оптимизации PySpark-трансформаций, интеграции Apache-стека с Kafka и мониторинге ETL-метрик.
#vacansy #remote #вакансия #DataEngineer
🚀 Ищем сильного Data Engineer / Technical Lead на проект в сфере телекоммуникаций.
📍 Локация: РФ / РБ
🏠 Формат: удалённо
📄 Оформление: только ИП
🕒 График: МСК ±2 часа
💼 Занятость: полная
🎓 Уровень: Senior / Team Lead
Задачи
— Миграция ETL-процессов с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL / хранимые процедуры;
— Разработка и оптимизация ETL/ELT-процессов;
— Написание сложного SQL-кода и хранимых процедур;
— Разработка и отладка DAG’ов в Apache Airflow;
— Работа с потоковой и пакетной обработкой данных;
— Подготовка документации AS IS / TO BE;
— Настройка мониторинга и отслеживание метрик ETL-процессов;
— Автоматизация проверки и контроля качества данных после миграции.
Что важно
Обязателен сильный практический опыт:
— разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД;
— разработки хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений;
— миграции ETL-систем на Apache/open-source стек;
— миграции с Informatica PowerCenter на Airflow + Greenplum;
— разработки на Python: ETL-скрипты, pandas, интеграции с API;
— разработки и отладки Airflow DAGs;
— работы с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка;
— работы с PySpark: трансформации, оптимизация, партиционирование;
— работы с Hadoop, Hive, Hive Metastore, Parquet и ORC;
— работы с Oracle, PostgreSQL, Greenplum, ClickHouse;
— сложного SQL: оконные функции, joins, оптимизация запросов в highload-среде;
— интеграций Apache-стека с Kafka и BI-системами;
— потоковой обработки данных;
— мониторинга через Grafana / Prometheus;
— построения процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик;
— работы с биллинговыми системами.
Будет преимуществом
— опыт системного анализа ETL-процессов;
— опыт управления командой в роли Team Lead от 4 лет;
— умение переводить бизнес-требования в технические спецификации;
— опыт подготовки технической и пользовательской документации;
— создание ER-диаграмм, инструкций и тест-кейсов.
⚠️ Для проекта важен именно hands-on технический опыт: позиция предполагает не только проектирование и управление, но и непосредственную работу с SQL, Airflow, NiFi, Python и целевым Data-стеком.
📩 Если ваш опыт соответствует требованиям - присылайте актуальное резюме ТГ
🚀 Ищем сильного Data Engineer / Technical Lead на проект в сфере телекоммуникаций.
📍 Локация: РФ / РБ
🏠 Формат: удалённо
📄 Оформление: только ИП
🕒 График: МСК ±2 часа
💼 Занятость: полная
🎓 Уровень: Senior / Team Lead
Задачи
— Миграция ETL-процессов с Informatica PowerCenter на целевой стек NiFi + Airflow + Greenplum + SQL / хранимые процедуры;
— Разработка и оптимизация ETL/ELT-процессов;
— Написание сложного SQL-кода и хранимых процедур;
— Разработка и отладка DAG’ов в Apache Airflow;
— Работа с потоковой и пакетной обработкой данных;
— Подготовка документации AS IS / TO BE;
— Настройка мониторинга и отслеживание метрик ETL-процессов;
— Автоматизация проверки и контроля качества данных после миграции.
Что важно
Обязателен сильный практический опыт:
— разработки ETL/ELT, включая реализацию значительной части логики на стороне СУБД;
— разработки хранимых процедур и функций, SQL / PL/SQL или аналогичных расширений;
— миграции ETL-систем на Apache/open-source стек;
— миграции с Informatica PowerCenter на Airflow + Greenplum;
— разработки на Python: ETL-скрипты, pandas, интеграции с API;
— разработки и отладки Airflow DAGs;
— работы с Apache NiFi: проектирование потоков, подключение источников, error handling, мониторинг и отладка;
— работы с PySpark: трансформации, оптимизация, партиционирование;
— работы с Hadoop, Hive, Hive Metastore, Parquet и ORC;
— работы с Oracle, PostgreSQL, Greenplum, ClickHouse;
— сложного SQL: оконные функции, joins, оптимизация запросов в highload-среде;
— интеграций Apache-стека с Kafka и BI-системами;
— потоковой обработки данных;
— мониторинга через Grafana / Prometheus;
— построения процессов Data Quality: правила валидации, сравнение результатов миграции, контроль метрик;
— работы с биллинговыми системами.
Будет преимуществом
— опыт системного анализа ETL-процессов;
— опыт управления командой в роли Team Lead от 4 лет;
— умение переводить бизнес-требования в технические спецификации;
— опыт подготовки технической и пользовательской документации;
— создание ER-диаграмм, инструкций и тест-кейсов.
⚠️ Для проекта важен именно hands-on технический опыт: позиция предполагает не только проектирование и управление, но и непосредственную работу с SQL, Airflow, NiFi, Python и целевым Data-стеком.
📩 Если ваш опыт соответствует требованиям - присылайте актуальное резюме ТГ
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -
