Senior Data Engineer (MLOps)

Локация: удалённый или гибридный формат

Компания

X5 Tech — IT-компания и цифровой партнёр торговых сетей и бизнесов X5 Group, развивающий технологические решения для сотрудников и покупателей группы.

Что делать

• Разрабатывать собственную систему мониторинга цен и участвовать в развитии её архитектуры.
• Разрабатывать и оптимизировать Spark-пайплайны для обработки более 200 млн строк ежедневно.
• Продуктивизировать ML- и LLM-модели в процессах обработки данных, обеспечивая их отказоустойчивость и масштабирование.
• Автоматизировать интеграцию данных из внешних и внутренних источников.
• Настраивать хранение и доступность данных на масштабируемой платформе.
• Повышать надёжность, масштабируемость и удобство платформы данных.

Требования

• Уверенное знание Python и SQL.
• Опыт работы с Airflow и Spark, включая разработку распределённых пайплайнов.
• Знание Hadoop, Trino, HDFS и S3 или аналогичного стека распределённой обработки данных.
• Опыт работы с Kubernetes и разработки микросервисов будет преимуществом.
• Знание инструментов и технологий: PySpark, Kubernetes, Minio, Iceberg, ClickHouse, PostgreSQL, Kafka, FastAPI и Docker.

Культура и преимущества

• Официальное трудоустройство с белой заработной платой и ежеквартальными премиями по результатам работы.
• Удалённый или гибридный формат работы.
• ДМС с выездом за рубеж и стоматологией, страхование жизни и здоровья.
• Внешние тренинги, семинары, конференции, корпоративный университет и программы развития цифровых и управленческих навыков.
• Технические сообщества, внутренние митапы, демо-дни, спортивные сообщества и программы поддержки благополучия.
• Скидки в экосистеме X5, программа привилегий Prime-zone и материальная помощь в сложных жизненных ситуациях.