Senior Data Engineer (Big Data)

TL;DR

Старший дата-инженер (Big Data): Проектирование и оптимизация сложных ETL-процессов для крупнейшего мессенджера с акцентом на построение DWH и автоматизацию DAG. Фокус на разработке собственного ETL-фреймворка, обеспечении качества данных (Data Quality) и расчете стабильных бизнес-метрик.

Локация: Комбинированный формат, Москва

Компания

VK (MAX) — цифровая платформа, объединяющая мессенджер, мини-приложения, нейропомощника и платежные сервисы.

Что делать

• Проектировать, реализовывать и оптимизировать сложные ETL-процессы и DAG для автоматизации.
• Развивать собственный ETL-фреймворк и внедрять инструменты Data Quality.
• Работать с данными на всех этапах трансформации: от источника до принятия бизнес-решений.
• Реализовывать стабильный расчёт бизнес-метрик совместно с аналитиками.
• Обеспечивать доступность сервисов и корректность данных, поддерживая созданные решения.

Требования

• Уверенное владение Python (уровень создания собственных фреймворков) и SQL (оптимизация запросов).
• Опыт проектирования DWH: слои, модели хранения и ETL-процессы.
• Глубокое понимание Hadoop, YTsaurus или ClickHouse.
• Опыт работы с оркестраторами (Airflow, Luigi и аналоги).
• Знание основных алгоритмов и структур данных для работы с Big Data.
• Навыки настройки мониторинга и алертинга для ETL-процессов.