Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Data Engineer (Python): Разработка и развитие дата-платформы и системы IBP для управления цепочками поставок с акцентом на обработку больших объемов данных и интеграцию разнородных источников. Фокус на создании масштабируемых Spark-пайплайнов, оптимизации DWH и обеспечении надежности потоков данных для принятия управленческих решений.
Локация: Удалённо или гибридный формат (РФ).
Компания
X5 Tech — технологическое подразделение ритейл-компании X5 Group, развивающее цифровые решения для ритейла и логистики.
Что делать
- Разрабатывать архитектуру и компоненты системы IBP (Integrated Business Planning).
- Создавать и оптимизировать высоконагруженные Spark-пайплайны для обработки 200+ млн строк данных ежедневно.
- Автоматизировать интеграцию данных из внутренних и внешних источников (продажи, цены, логистические данные).
- Настраивать процессы хранения и обеспечения доступности данных в DWH.
- Повышать надежность, масштабируемость и удобство использования дата-платформы.
Требования
- Опыт разработки на Python и работы с PySpark.
- Знание инструментов обработки данных (Trino, Kafka, Airflow).
- Опыт работы с современными DWH и базами данных (Clickhouse, PostgreSQL).
- Понимание принципов работы в Kubernetes и Docker.
- Свободное владение русским языком.
Культура и преимущества
- Официальное трудоустройство с белой заработной платой и ежеквартальными премиями.
- Широкий пакет ДМС со стоматологией и страхованием жизни.
- Развитая система обучения: корпоративный университет, участие в конференциях, внутренние технические сообщества.
- Возможность участия в программах для спикеров и авторов (Speak Up School, Хабр).
- Скидки на продукты в экосистеме X5 и программа привилегий Prime-zone.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →