Data Engineer (Python)

Локация: Москва; удалённо

Компания

RWB — объединённая международная технологическая компания Wildberries и Russ, развивающая платформу данных в направлении TNS для потоковой и пакетной обработки данных из разных доменов.

Что делать

• Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ.
• Контролировать полноту и качество потоков, включая lag, пропуски, дубли, объёмы, freshness и расхождения между источниками и хранилищами; участвовать в восстановлении и дозагрузке данных.
• Развивать batch-пайплайны в Apache Airflow, выполнять регуляторные выгрузки день в день, bulk-загрузки в Cassandra и проверки результатов загрузки.
• Подключать новые источники, анализируя семантику событий, идентификаторы, ключи партиционирования, формат данных, ретенцию, владельцев и ограничения.
• Поддерживать Cassandra, документацию потоков, runbook и постмортемы; участвовать в on-call, локализовать и эскалировать инциденты.

Требования

• От 3 лет опыта в Data Engineering или backend-разработке с практическим переходом в data-направление.
• Уверенный SQL и понимание работы с большими объёмами данных: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест.
• Опыт построения корпоративных DWH и понимание слоёв данных.
• Практический опыт работы с Kafka: producer/consumer, consumer groups, ключи и партиционирование, offsets, ретенция, replay, обработка ошибок и DLQ.
• Python для data-задач и Airflow: разработка и сопровождение DAG, идемпотентные задачи, retries и backfill.
• Опыт работы с Java-кодом Flink: чтение, доработка и отладка, анализ причин рестартов, checkpointing и backpressure. Python Flink также может быть релевантен.
• Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse.
• Для Cassandra: моделирование по паттернам доступа, partition key, TTL, консистентность и особенности записи.
• Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, TTL и особенности upsert/merge-семантики.
• Опыт сопровождения Airflow-пайплайнов в production.
• Инженерный цикл: тесты, CI/CD, quality gate, мониторинг, алерты, анализ причин инцидентов и профилактические действия.
• Внимательность к SLA и регуляторным ограничениям, включая обнаружение, объяснение и восстановление потерянных данных.

Хорошо, если есть

• Опыт самостоятельной разработки stateful Flink-пайплайнов.

Культура и преимущества

• Удалённый формат работы.
• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества, включая клуб спикеров, футбола, йоги и шахмат.
• Гибкий подход для совмещения работы и заботы о семье, скидки и партнёрские программы.
• Корпоративная техника; для работы в офисе доступны бесплатное питание и современные офисы рядом с метро.