Data Engineer (Retail)

TL;DR

Инженер данных (Data Engineering): Разработка и поддержка конвейеров обработки данных для системы On-Shelf Availability с акцентом на PySpark, Apache Airflow и высоконагруженные ETL-процессы. Фокус на масштабировании решения для тысяч магазинов ритейлера и интеграции данных в единую систему мониторинга доступности товаров.

Локация: Можно работать из офиса в Москве, Краснодаре, Иннополисе или удалённо из РФ.

Зарплата: от 250 000 руб./мес.

Компания

MAGNIT TECH — технологическое подразделение крупнейшего продуктового ритейлера, разрабатывающее инновационные решения для автоматизации логистики и операционных процессов.

Что делать

• Разрабатывать и поддерживать ETL/ELT-пайплайны с использованием Apache Airflow.
• Создавать и оптимизировать потоки обработки данных на PySpark и Spark SQL.
• Развивать объектное хранилище на базе Amazon S3 (Yandex Object Storage).
• Автоматизировать рутинные задачи с помощью Python.
• Взаимодействовать с владельцами продуктов для проектирования решений, отвечающих бизнес-целям.

Требования

• Опыт работы с распределенными системами обработки данных (Spark/Hadoop) от 2 лет.
• Уверенное владение Python и SQL.
• Навыки оптимизации приложений на Spark и умение работать с планами запросов.
• Опыт разработки ETL/ELT-процессов и понимание принципов проектирования хранилищ данных.
• Понимание принципов работы распределенных высоконагруженных систем.

Хорошо, если есть

• Опыт работы с Big Data или ML-продуктами.
• Навыки работы с облачной инфраструктурой (Yandex Cloud, AWS, Azure).
• Уверенная работа в Linux.
• Знание специфики ритейла и складских процессов.

Культура и преимущества

• Оформление в аккредитованную IT-компанию.
• ДМС со стоматологией.
• Предоставление необходимой для работы техники.
• Гибкость в выборе формата работы (офис или удаленка).
• Свобода в принятии технических решений.