Data Engineer в Локализацию

Локация: Москва; удалённая работа

Компания

RWB — объединённая компания Wildberries и Russ, международная технологическая компания, развивающая платформу данных для ML-специалистов и продуктовых аналитиков рекомендательных систем.

Что делать

• Проектировать и строить озёрное хранилище вокруг Apache Iceberg с использованием Spark и Trino для обработки объёмов данных в сотни ТБ.
• Настраивать процессы обеспечения качества данных: валидацию, мониторинг и метрики качества.
• Внедрять автоматическую генерацию и сопровождение метаданных, data discovery, data catalog и профилирование.
• Проектировать и разворачивать feature store для подготовки и управления признаками.
• Участвовать в создании семантического слоя для унификации бизнес-логики и метрик.
• Оценивать и внедрять полезные open source-инструменты для команды и потребителей данных.

Требования

• Уверенное знание Python в контексте data engineering — от 2 лет.
• Глубокое знание SQL, включая оконные функции, оптимизацию запросов и explain-планы.
• Опыт работы с оркестраторами данных, включая Airflow.
• Опыт работы с Hadoop, Spark, YARN и HDFS.
• Опыт работы с MPP-системами: Greenplum, ClickHouse, Redshift или аналогами.
• Опыт взаимодействия с Trino/Presto, DBT, feature store и DQ-фреймворками, включая Great Expectations, Soda или собственные решения.

Культура и преимущества

• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества: клуб спикеров, футбола, йоги, шахмат и другие.
• Гибкий подход для совмещения работы и заботы о семье, а также проекты для детей сотрудников.
• Скидки и партнёрские программы на обучение, страхование и покупки.
• Корпоративная техника и другие условия комфортной рабочей среды; для офисных сотрудников — бесплатное питание и современные офисы рядом с метро.