7 часов назад

Data Engineer в Ценообразование (ClickHouse)

Формат работы

remote (только Russia)/hybrid/onsite

Тип работы

fulltime

Грейд

middle

Страна

Russia

RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:

TL;DR

Data Engineer в Ценообразование (ClickHouse): Проектирование и развитие пайплайнов загрузки данных, слоёв хранилища и витрин платформы ценообразования с акцентом на ClickHouse, большие объёмы данных и надёжность DAG-процессов. Focus on оптимизации распределённой базы данных, построении идемпотентных загрузок в Airflow, контроле качества данных и интеграции с Kafka, REST API и реляционными БД.

Локация: Москва; доступны гибридный, удалённый и офисный форматы.

Компания

Объединённая компания Wildberries и Russ — международная технологическая компания, образованная в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ.

Что делать

Проектировать и разрабатывать пайплайны загрузки данных с учётом потребностей команд-потребителей.
Проектировать слои хранилища и витрины в ClickHouse, включая выбор движков таблиц, ключей сортировки, партиционирования, шардирования и репликации.
Оптимизировать запросы и хранение данных, находить причины медленной работы запросов и быстрого роста таблиц.
Разрабатывать и поддерживать production-DAG в Airflow, включая идемпотентность, ретраи, бэкфиллы и зависимости между задачами.
Обеспечивать качество данных с помощью проверок полноты и консистентности, сверок между системами, алертинга и мониторинга пайплайнов.
Работать с продуктовыми командами и аналитиками: разбирать требования, согласовывать контракты данных, объяснять ограничения и предлагать варианты решений.

Требования

От 3 лет опыта работы.
Опыт работы с ClickHouse: идентификация проблем на кластере, понимание распределённых баз данных и оптимальная разработка пайплайнов без перегрузки кластера.
Уверенный SQL и опыт работы с большими объёмами данных, включая таблицы размером более 50 ТБ.
Владение Python для разработки пайплайнов и периодической разработки backend-компонентов на FastAPI.
Опыт разработки и эксплуатации DAG в Apache Airflow в production, понимание идемпотентности и бэкфиллов.
Опыт работы с Apache Kafka: топики, партиции, consumer groups, оффсеты, семантика доставки и загрузка данных из Kafka в хранилище.
Опыт интеграции данных из REST API и реляционных баз данных, включая PostgreSQL и аналоги, инкрементальную загрузку и работу с изменениями данных.

Культура и преимущества

Языковые клубы, корпоративный университет и программы развития управленческих навыков.
Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
Профессиональные и спортивные сообщества, включая клубы спикеров, футбола, йоги и шахмат.
Гибкий подход к совмещению карьеры и заботы о семье, а также проекты для детей сотрудников.
Скидки и партнёрские программы на обучение, страхование и покупки.
Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и внутренний портал для сотрудников.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →