Senior Data Engineer (DWH)

TL;DR

Старший дата-инженер (DWH/Python): Развитие и оптимизация многослойного хранилища данных на базе YTsaurus с акцентом на проектирование моделей данных и создание внутренних сервисов. Фокус на разработке API, оптимизации YQL/Python трансформаций и обеспечении высокого качества данных.

Локация: Офис в Москве

Компания

Дзен — крупнейшая рекомендательная система в России, разрабатывающая приложения для Android и iOS.

Что делать

• Проектировать и разрабатывать внутренние сервисы, API и интеграции для команды DWH.
• Развивать многослойные модели данных в хранилище (от raw до export).
• Писать и оптимизировать трансформации данных на YQL и Python.
• Поддерживать и расширять систему оркестрации пайплайнов.
• Развивать мониторинг качества данных и оперативно реагировать на инциденты.
• Участвовать в code review и поддерживать высокий инженерный уровень команды.

Требования

• Уверенное владение Python (опыт написания production-кода и сервисов).
• Глубокие знания SQL и опыт оптимизации сложных аналитических запросов.
• Опыт проектирования и поддержки бэкенд-сервисов, API и интеграций.
• Понимание архитектуры слоеного DWH (моделирование, партиционирование, инкрементальная загрузка).
• Строгий подход к качеству данных и соблюдению технических соглашений (именование, поля).

Культура и преимущества

• Работа в масштабном монорепозитории с автоматизированным CI.
• Системный подход к разработке: строгие соглашения, алертинг и автоматизированный code review.
• Инженерная культура с распределением ответственности через дежурства.
• Возможность работать над высоконагруженной рекомендательной системой.