Data Engineer (ClickHouse)

Локация: Москва; доступны гибридный, удалённый и офисный форматы работы

Компания

RWB — международная технологическая компания, образованная в результате объединения Wildberries и Russ, развивающая продукты в сфере электронной коммерции и наружной рекламы.

Что делать

• Проектировать и разрабатывать пайплайны загрузки данных с учётом потребностей команд-потребителей.
• Проектировать слои данных и витрины в ClickHouse: выбирать движки таблиц, ключи сортировки, партиционирования, шардирования и репликации.
• Оптимизировать запросы и хранение данных, включая анализ производительности кластера и роста таблиц.
• Разрабатывать и поддерживать production-DAG в Airflow с идемпотентностью, ретраями, бэкфиллами и зависимостями между задачами.
• Обеспечивать полноту и консистентность данных, выполнять сверки между системами и настраивать мониторинг и алертинг.
• Работать с продуктовыми командами и аналитиками: согласовывать требования и контракты данных, объяснять ограничения и предлагать решения.

Требования

• От 3 лет опыта работы с данными.
• Уверенное владение ClickHouse, включая работу с распределённой базой данных и оптимизацию нагрузки на кластер.
• Сильный SQL и опыт работы с большими объёмами данных; размер отдельных таблиц может превышать 50 ТБ.
• Python для разработки пайплайнов и периодически backend-сервисов на FastAPI.
• Опыт разработки и эксплуатации DAG в Apache Airflow, понимание идемпотентности и бэкфиллов.
• Опыт работы с Apache Kafka, REST API и реляционными базами данных, включая PostgreSQL, инкрементальные загрузки и обработку изменений.

Культура и преимущества

• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества, включая клубы спикеров, футбола, йоги и шахмат.
• Гибкий подход для совмещения работы и заботы о близких, а также программы для детей сотрудников.
• Скидки и партнёрские программы на обучение, страхование и покупки.
• Бесплатное питание в офисе, современные офисы рядом с метро и корпоративная техника.