Data Engineer (Apache Flink)

Локация: Москва; формат работы — гибрид/удалённо.

Компания

Объединённая компания Wildberries и Russ — международная технологическая компания, развивающая платформу данных для потоковой и пакетной обработки данных из разных доменов.

Что делать

• Разрабатывать и сопровождать потоковые приложения на Apache Flink, подключать новые домены и типы событий.
• Реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ.
• Контролировать lag, пропуски, дубли, объёмы, freshness и расхождения между источниками и целевыми хранилищами; участвовать в восстановлении и дозагрузке данных.
• Развивать batch-пайплайны в Apache Airflow, включая регуляторные выгрузки день в день, bulk-загрузки в Cassandra и проверки результатов загрузки.
• Подключать новые источники, анализировать семантику событий, идентификаторы, ключи партиционирования, форматы данных, ретенцию и ограничения источников.
• Участвовать в on-call, локализовывать инциденты, эскалировать их по регламенту, документировать потоки, runbook и постмортемы.

Требования

• От 3 лет опыта в Data Engineering либо backend-разработке с практическим переходом в data-направление.
• Уверенный SQL и понимание работы с большими объёмами данных: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест.
• Опыт построения корпоративных DWH и понимание слоёв данных.
• Практический опыт работы с Kafka: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок и DLQ.
• Python для data-задач и Airflow: разработка и сопровождение DAG, идемпотентные задачи, retries и backfill.
• Опыт работы с Java-кодом Flink: чтение, доработка и отладка, анализ рестартов, checkpointing и backpressure. Python Flink может быть релевантен как опыт.
• Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse.
• Для Cassandra — понимание моделирования от паттернов доступа, partition key, TTL, консистентности и особенностей записи; для ClickHouse — оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и upsert/merge-семантика.
• Опыт сопровождения Airflow-пайплайнов в production.
• Инженерный цикл: тесты, CI/CD, quality gate, мониторинг, алерты, анализ причин инцидентов и профилактические действия.
• Внимательность к SLA и регуляторным ограничениям, включая обнаружение, объяснение и восстановление потерянных или неполных данных.

Хорошо, если есть

• Опыт самостоятельной разработки stateful Flink-пайплайнов.

Культура и преимущества

• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества: клуб спикеров, футбола, йоги, шахмат и другие.
• Гибкий подход для совмещения работы и заботы о семье, а также программы для детей сотрудников.
• Скидки и партнёрские программы на обучение, страхование и покупки.
• Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.