Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior Data Engineer (Spark): Разработка и оптимизация end-to-end пайплайнов для ML-системы детектирования Out-of-stock с акцентом на обработку данных в масштабе и интеграцию из различных источников. Фокус на создании масштабируемых Spark-пайплайнов, обеспечении качества данных для моделей машинного обучения и развитии платформы прогнозирования спроса.
Локация: Россия, удалённо или гибридный формат
Компания
X5 — одна из крупнейших ритейл-компаний в России, создающая высокотехнологичные решения для управления торговыми сетями.
Что делать
- Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (более 200 млн строк ежедневно).
- Настраивать хранение и обеспечивать доступность данных в DWH.
- Автоматизировать интеграцию данных из различных источников: ERP, внешние API, данные по продажам, акциям и остаткам.
- Тесно взаимодействовать с командой Data Science для обеспечения стабильного потока данных для моделей (бустинг и нейросети).
- Участвовать в развитии и масштабировании платформы прогнозирования спроса.
Требования
- Опыт разработки высоконагруженных пайплайнов обработки данных.
- Глубокие знания Apache Spark и принципов построения DWH.
- Опыт работы с интеграцией разнородных источников данных.
- Локация: Россия
Культура и преимущества
- Гибридный формат работы: возможность работать в офисе, удалённо или совмещать.
- Развитое профессиональное сообщество с митапами, демо-днями и конференциями.
- Возможности обучения: цифровая академия, лидерский клуб и школы технических специалистов.
- Стабильность крупной компании и возможности горизонтального перемещения между разными проектами.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →