Data Platform Engineer (ML)

Локация: удалённо или гибридно в офисе в Москве, рядом со станциями метро Дмитровская и Савёловская.

Компания

Иви — онлайн-кинотеатр и поставщик профессионального легального видеоконтента в России и странах СНГ.

Что делать

• Развивать платформу для расчёта ML-признаков в batch-, streaming- и nearline-сценариях.
• Строить и поддерживать пайплайны для исторических расчётов, backfill, обновления признаков и incremental-вычислений.
• Обеспечивать корректные point-in-time joins, отсутствие temporal leakage и согласованность offline- и online-контуров.
• Оптимизировать Spark- и streaming-задачи по скорости, памяти и стоимости вычислений.
• Интегрировать платформу с Feature Store, Airflow/Kubeflow, Kafka, хранилищами и внутренними сервисами.
• Развивать observability, тестирование под нагрузкой, отказоустойчивость и сопровождение продакшн-контура.

Требования

• Уверенное знание Python и/или JVM-языка.
• Опыт разработки и поддержки конвейеров обработки данных, проектирования схем и работы с большими объёмами данных.
• Глубокое понимание Spark или другой распределённой системы обработки данных.
• Опыт batch- и streaming-обработки: event time, processing time, окна, watermark и late data.
• Понимание partitioning, shuffle, skew, retry, backfill, идемпотентности, state, caching и пересчётов.
• Опыт работы с Git, code review, тестированием, CI/CD и observability.

Хорошо, если есть

• Опыт работы с Feature Store, ML-платформами и Kafka.
• Опыт версионирования, отслеживания происхождения и проверки качества данных.
• Опыт создания переиспользуемых решений для команд данных и машинного обучения.

Культура и преимущества

• Официальное трудоустройство в аккредитованной ИТ-компании.
• Удалённый или гибридный формат работы и гибкое начало рабочего дня.
• Современная рабочая техника и дополнительный монитор.
• После испытательного срока — ДМС со стоматологией, страхование от несчастных случаев и критических заболеваний.
• Поддержка выступлений на митапах, онлайн-библиотека и корпоративные скидки.