Data Lakehouse Engineer в корпоративное хранилище

Локация: Москва, Россия; удалённая работа

Компания

RWB — объединённая компания Wildberries и Russ, развивающая существующее хранилище данных на Greenplum и новое хранилище на базе Data Lakehouse-подхода.

Что делать

• Проектировать и развивать Data Lakehouse-платформу как внутренний продукт.
• Разрабатывать ETL/ELT-пайплайны на базе Spark, dbt и Trino.
• Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake.
• Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana.
• Управлять инфраструктурой и конфигурацией платформы через GitOps с использованием ArgoCD и Helm.
• Взаимодействовать с продуктовой командой и учитывать потребности пользователей платформы.

Требования

• Практический опыт построения Data Lakehouse-платформ или крупных Data Platform-решений.
• Опыт проектирования Data Lakehouse с нуля.
• Глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle и оптимизация запросов.
• Хорошее понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg, Parquet и аналогичные технологии.
• Опыт работы с Trino и понимание принципов распределённого выполнения запросов.
• Опыт работы с Airflow и построения сложных data workflows, включая разработку кастомных операторов, сенсоров, хуков и плагинов.

Культура и преимущества

• Удалённый формат работы.
• Языковые клубы, корпоративный университет и программы развития управленческих навыков.
• Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
• Профессиональные и спортивные сообщества, включая клуб спикеров, футбола, йоги и шахмат.
• Гибкий подход для совмещения работы и заботы о семье, а также проекты для детей сотрудников.
• Скидки и партнёрские программы, корпоративная техника, офисы рядом с метро и бесплатное питание в офисе.