Data Engineer (ML)

TL;DR

Data Engineer (ML): Разработка и поддержка платформы данных для ML-моделей в направлении Trust & Safety с акцентом на потоковую обработку событий и согласованность признаков. Фокус на проектировании высоконагруженных пайплайнов с использованием Kafka, Flink, Iceberg и Trino для обеспечения актуальности данных в антифрод-системах.

Компания

Объединенная технологическая компания Wildberries и Russ, лидер рынка e-commerce и наружной рекламы.

Что делать

• Проектировать и разрабатывать потоковые процессы для расчета онлайн-признаков (Kafka, Redis, Cassandra).
• Создавать пакетные процессы для расчета офлайн-признаков через Trino и S3/Iceberg.
• Обеспечивать согласованность логики расчетов признаков между обучением и продакшеном.
• Настраивать расписания и бэки для соблюдения SLA по свежести данных.
• Мониторить качество данных, выявлять аномалии и оперативно разбирать инциденты.
• Сотрудничать с DS и аналитиками для перевода экспериментальных скриптов в стабильные пайплайны.

Требования

• Опыт работы от 5 лет в роли Data Engineer или Backend+Data.
• Уверенное владение Kafka, Flink (или Spark Structured Streaming) и Redis/Cassandra.
• Опыт работы с S3, табличными форматами (Iceberg/Delta/Hudi) и SQL-движками (Trino/Presto).
• Отличное знание SQL и опыт работы с ClickHouse.
• Уверенное владение Python для разработки data-скриптов.
• Опыт настройки и сопровождения пайплайнов в Airflow.
• Понимание специфики ML-пайплайнов (train/serve skew, задержки, потери событий).

Культура и преимущества

• Аккредитованная IT-компания с полным социальным пакетом.
• Корпоративный ДМС со стоматологией, консультации психолога и корпоративный спорт.
• Развитая корпоративная культура: языковые клубы, сообщества (футбол, йога, шахматы, спикеры).
• Корпоративный университет и программы развития управленческих навыков.
• Гибкий подход к работе и поддержка семей сотрудников.
• Бесплатное питание в офисе и современная корпоративная техника.