9 часов назад
Senior Data Engineer (IBP)
RUВакансия из Hirify RU, списка российских tech-компаний
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Senior Data Engineer (PySpark/IBP): Развитие дата-платформы и собственной системы IBP для планирования цепочек поставок с акцентом на end-to-end пайплайны, интеграцию источников и надёжное хранение данных в DWH. Фокус на оптимизации Spark-пайплайнов для обработки 200+ млн строк ежедневно, масштабировании инфраструктуры и обеспечении качества данных для закупок, продаж и логистики.
Локация: удалённый или гибридный формат работы
Компания
X5 Tech развивает платформу для планирования и управления цепочками поставок в сфере ритейла.
Что делать
- Разрабатывать собственную систему IBP (Integrated Business Planning) и участвовать в развитии её архитектуры.
- Проектировать и оптимизировать Spark-пайплайны для обработки более 200 млн строк данных ежедневно.
- Автоматизировать интеграцию данных из источников онлайн- и офлайн-продаж, ERP, внешних API, а также данных об акциях, ценах, остатках, погоде и календарях.
- Настраивать хранение и доступность данных в DWH.
- Повышать надёжность, масштабируемость и удобство использования дата-платформы.
Требования
- Опыт разработки дата-пайплайнов и обработки больших объёмов данных.
- Знание PySpark, Trino и Python.
- Опыт работы с Kubernetes, Minio, Iceberg, ClickHouse и PostgreSQL.
- Знание Kafka, RabbitMQ, Airflow, Docker и Pytest.
- Способность участвовать в развитии архитектуры дата-платформы и системы IBP.
Культура и преимущества
- Официальное трудоустройство, белая заработная плата и ежеквартальные премии по результатам работы.
- ДМС с возможностью выезда за рубеж и стоматологией, а также страхование жизни и здоровья.
- Внешние тренинги, профессиональные конференции, корпоративный университет и программы развития цифровых и управленческих навыков.
- Технические сообщества, митапы, демо-дни и программы для спикеров и авторов.
- Спортивные сообщества, Неделя здоровья, скидки в экосистеме X5 и программа привилегий Prime-zone.
- Материальная помощь сотрудникам в сложных жизненных ситуациях.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →