Data Quality Engineer

Локация: Москва; удалённый или гибридный формат работы. Офис находится в пешей доступности от станции метро «Дмитровская», БЦ «Савеловский Сити».

Компания

Медиалогия разрабатывает продукты для сбора и анализа данных из СМИ и социальных медиа, включая высоконагруженные системы, обрабатывающие более 100 млн сообщений в сутки и 1,7 млрд метрик.

Что делать

• Проектировать и внедрять DQ-фреймворки, автоматизированные процессы и инструменты проверки качества данных на всех этапах жизненного цикла.
• Писать unit- и integration-тесты для ETL/ELT-пайплайнов, витрин данных и источников.
• Взаимодействовать с Data Engineers, Data Scientists, аналитиками и бизнес-заказчиками для перевода бизнес-правил в технические проверки.
• Профилировать сырые и целевые данные, выявлять дубликаты, пропуски, скрытые закономерности и несоответствия бизнес-логике.
• Расследовать инциденты с данными, находить первопричины, устранять проблемы и предотвращать их повторение.
• Настраивать мониторинг и алертинг качества данных, а также создавать дашборды с метриками и оповещениями об аномалиях.

Требования

• Опыт работы от 2–3 лет в Data Engineering, Data QA или Data Quality; в условиях вакансии указан диапазон опыта от 3 до 6 лет.
• Отличное знание SQL: сложные запросы, оконные функции, CTE и оптимизация запросов для больших объёмов данных.
• Знание Python для автоматизации проверок и работы с Pandas, PySpark или аналогами.
• Опыт работы с фреймворками проверки данных: Great Expectations, dbt tests, Soda, Monte Carlo или кастомные решения.
• Понимание архитектур DWH, Data Lake и Data Mesh, опыт работы с ClickHouse, PostgreSQL и Hive.
• Понимание принципов работы пайплайнов данных; желательно знание Airflow или Prefect, а также dbt и Spark.
• Понимание метрик качества данных: полноты, уникальности, консистентности, своевременности, валидности и точности, а также концепций DataOps и Data Governance.

Культура и преимущества

• Удалённый или гибридный формат работы.
• ДМС после испытательного срока и специальные условия страхования для членов семьи.
• Скидки у компаний-партнёров, включая фитнес-центры, обучающие курсы и изучение иностранных языков.
• Бесплатное онлайн-обучение на корпоративном портале и доступ к корпоративной библиотеке.
• Интересные проекты и возможность влиять на технологический стек.