6 дней назад
Data Engineer (MLOps)
280 000 - 300 000₽
RUВакансия из Hirify RU, списка российских tech-компаний
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (MLOps) (Python/Apache Airflow/NiFi): Миграция ETL-процессов с Informatica PowerCenter на стек NiFi, Airflow, Greenplum и SQL с акцентом на разработку DAG'ов, хранимых процедур и высоконагруженных трансформаций данных. Focus on проектирование потоков, оптимизацию PySpark и SQL, настройку потоковой обработки и автоматический контроль качества данных после миграции.
Локация: можно удалённо
Зарплата: 280 000–300 000 ₽ в месяц
Компания
Группа компаний Top Selection.
Что делать
- Мигрировать ETL-процессы с Informatica PowerCenter на стек Apache NiFi, Apache Airflow, Greenplum и SQL.
- Разрабатывать ETL/ELT-процессы, SQL-код, хранимые процедуры и функции.
- Проектировать и отлаживать DAG'и в Airflow, потоки NiFi и интеграции с источниками данных.
- Готовить документацию AS IS и TO BE.
- Настраивать мониторинг и отслеживать метрики ETL-процессов.
- Контролировать качество данных и сравнивать результаты после миграции.
Требования
- Опыт управления командой не менее 4 лет.
- Опыт разработки ETL/ELT-процессов с использованием SQL, процедурных расширений SQL и СУБД.
- Практический опыт с Python, pandas, API, Apache Airflow, Apache NiFi и PySpark.
- Опыт миграции Informatica PowerCenter на открытый стек, включая Airflow и Greenplum.
- Знание Hadoop, Hive metastore, PostgreSQL, Greenplum, ClickHouse и Oracle.
- Опыт работы с Kafka, BI-системами, потоковой обработкой, Grafana и Prometheus.
Хорошо, если есть
- Опыт работы с биллингом.
- Опыт проектирования хранилищ данных и оптимизации запросов для highload-сред.
- Знание форматов Parquet и ORC, оконных функций и сложных JOIN-запросов.
Культура и преимущества
- Доступен удалённый формат работы.
- Работа с Apache-стеком и задачами миграции ETL-систем.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
