Data Engineer (MDM)

TL;DR

Data Engineer (MDM): Разработка и развитие технического контура мастер-данных, включая операционные хранилища и интеграционные потоки, с акцентом на обеспечение консистентности и качества данных. Фокус на проектировании моделей MDM, реализации CDC-механизмов и построении масштабируемых ETL/ELT процессов.

Компания

HeadHunter — ведущая платформа по поиску работы и подбору персонала.

Что делать

• Проектировать структуры операционных хранилищ и модели мастер-данных.
• Разрабатывать процессы загрузки, обработки (ETL/ELT) и передачи данных между информационными системами.
• Создавать пакетные и потоковые интеграции, используя механизмы CDC.
• Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных.
• Разрабатывать систему контроля качества данных, технические и бизнес-сверки.
• Настраивать мониторинг, логирование и обеспечивать сопровождение решений в промышленной эксплуатации.

Требования

• Уверенное владение SQL и опыт разработки на Python.
• Опыт проектирования структур и моделей хранения данных, а также создания ETL/ELT процессов.
• Понимание принципов пакетной и потоковой обработки данных.
• Знание интеграционных паттернов и опыт работы с реляционными СУБД.
• Навыки настройки мониторинга, логирования и обработки ошибок.
• Умение самостоятельно прорабатывать техническое решение и доводить его до промышленного внедрения.

Хорошо, если есть

• Опыт работы с Kafka, Flink, Debezium или ClickHouse.
• Практический опыт реализации CDC-процессов и разработки в Apache Airflow.
• Участие в создании MDM-решений, мастер-систем или операционных хранилищ.
• Понимание событийно-ориентированной архитектуры.
• Опыт работы с Git, CI/CD и контейнеризацией.