Middle Data Engineer в Локализацию команда Рекомендаций (Data Platform)

Локация: Москва; удалённый формат работы

Компания

Команда RWB (Wildberries & Russ) развивает платформу данных для ML-специалистов и продуктовых аналитиков рекомендательных систем.

Что делать

• Проектировать и реализовывать озёрное хранилище на Apache Iceberg с использованием Spark и Trino для объёмов данных в сотни ТБ.
• Настраивать процессы обеспечения качества данных: валидацию, мониторинг и метрики качества.
• Внедрять автоматическую генерацию и сопровождение метаданных, data discovery, data catalog и профилирование данных.
• Проектировать и разворачивать feature store для подготовки и управления признаками.
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик.

Требования

• От 1 года до 3 лет опыта работы.
• Уверенное владение Python в контексте data engineering от 2 лет.
• Глубокое знание SQL, включая оконные функции, оптимизацию запросов и explain-планы.
• Опыт работы с оркестраторами данных, включая Airflow.
• Опыт работы с Hadoop, Spark, YARN и HDFS.
• Опыт работы с MPP-системами, включая Greenplum.

Культура и преимущества

• Полностью удалённый формат работы.
• Работа над платформой данных для рекомендательных систем с полным циклом — от забора данных до развития хранилищ.
• Технологический стек включает Greenplum, Hadoop/HDFS, Iceberg, Trino, Airflow, Apache Kafka, Spark и ClickHouse.