2 дня назад

Data Lakehouse Engineer в корпоративное хранилище (Data Lakehouse)

Формат работы

remote (только Russia)

Тип работы

fulltime

Грейд

senior

Страна

Russia

RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:

TL;DR

Data Lakehouse Engineer в корпоративное хранилище (Data Lakehouse): Проектирование и развитие платформы Data Lakehouse, ETL/ELT-пайплайнов и инфраструктуры наблюдаемости с акцентом на Spark, Trino, S3, Airflow и GitOps. Focus on построение DLH с нуля, оптимизацию распределённого выполнения запросов, управление данными в Iceberg/Parquet и развитие платформы как внутреннего продукта.

Локация: удалённая работа

Компания

Объединённая компания Wildberries и Russ — международная технологическая компания, созданная в результате слияния IT-компании Wildberries и оператора наружной рекламы Russ. Компания развивает существующее хранилище данных на Greenplum и новое хранилище на базе Data Lakehouse-подхода.

Что делать

Проектировать и развивать платформу Data Lakehouse.
Разрабатывать ETL/ELT-пайплайны на базе Spark, DBT и Trino.
Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake.
Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana.
Управлять инфраструктурой и конфигурацией через GitOps с использованием ArgoCD и Helm.
Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.

Требования

От 5 лет опыта и практический опыт построения Data Lakehouse-платформ или крупных Data Platform-решений.
Опыт проектирования Data Lakehouse с нуля.
Глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle и оптимизация запросов.
Хорошее понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg, Parquet и аналогичные технологии.
Опыт работы с Trino и понимание принципов распределённого выполнения запросов.
Опыт работы с Airflow и построения сложных data workflows, включая разработку кастомных операторов, сенсоров, хуков и плагинов.

Культура и преимущества

Удалённый формат работы.
Языковые клубы, собственный корпоративный университет и программы развития управленческих навыков.
Корпоративный пакет ДМС со стоматологией, корпоративный спорт и консультации психолога.
Профессиональные и спортивные сообщества, включая клубы спикеров, футбола, йоги и шахмат.
Гибкий подход для сотрудников с семьями, проекты для детей сотрудников, скидки и партнёрские программы.
Корпоративная техника и другие возможности аккредитованной IT-компании.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →