Data Engineer в Ценообразование (ClickHouse)

Локация: Москва, удалённо

Компания

Объединённая компания Wildberries и Russ — международная технологическая компания, созданная в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ.

Что делать

• Проектировать и разрабатывать оптимальные пайплайны загрузки данных для команд-потребителей.
• Проектировать слои данных и витрины в ClickHouse, включая выбор движков таблиц, ключей сортировки, партиционирования, шардирования и репликации.
• Оптимизировать запросы и хранение данных, выявлять причины медленной работы запросов и быстрого роста таблиц.
• Разрабатывать и поддерживать производственные DAGи в Airflow, обеспечивая идемпотентность, ретраи, бэкфиллы и корректные зависимости между задачами.
• Обеспечивать качество данных с помощью проверок полноты и консистентности, сверок между системами, алертинга и мониторинга пайплайнов.
• Работать с продуктовыми командами и аналитиками: уточнять требования, согласовывать контракты данных и предлагать варианты решений.

Требования

• Опыт работы с ClickHouse, включая выявление проблем на кластере, работу с распределённой базой данных и оптимизацию пайплайнов без перегрузки кластера.
• Уверенное знание SQL и опыт работы с большими объёмами данных, включая таблицы размером более 50 ТБ.
• Владение Python для разработки пайплайнов и иногда backend-сервисов на FastAPI.
• Опыт разработки и эксплуатации DAGов Apache Airflow в production, понимание идемпотентности и бэкфиллов.
• Опыт работы с Apache Kafka: топики, партиции, consumer groups, offsets, семантика доставки и загрузка данных из Kafka в хранилище.
• Опыт интеграции данных из REST API и реляционных баз данных, включая PostgreSQL и аналоги, инкрементальную загрузку и работу с изменениями данных.

Культура и преимущества

• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества, включая клубы спикеров, футбола, йоги и шахмат.
• Гибкий подход для совмещения работы и заботы о семье, а также проекты для детей сотрудников.
• Скидки и партнёрские программы на обучение, страхование и покупки.
• Офисная инфраструктура с бесплатным питанием, офисами рядом с метро, корпоративной техникой и порталом для сотрудников.