Назад

Не получаете ответ?

Вакансия опубликована 7 дн. назад - шансы на ответ снижаются.

8 дней назад

Data Lakehouse Engineer (Data Platform)

Формат работы
remote (только Russia)/hybrid
Тип работы
fulltime
Грейд
senior
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Lakehouse Engineer (Data Platform): Проектирование и развитие Data Lakehouse-платформы, ETL/ELT-пайплайнов и инфраструктуры наблюдаемости с акцентом на Spark, Trino, S3, Airflow и GitOps. Focus on проектировании DLH с нуля, оптимизации распределённого выполнения запросов, управлении данными в Iceberg/Parquet и развитии платформы как внутреннего продукта.

Локация: Москва; удалённый формат, гибридный по договорённости с руководителем

Компания

RWB (Wildberries & Russ).

Что делать

  • Проектировать и развивать Data Lakehouse-платформу.
  • Разрабатывать ETL/ELT-пайплайны на базе Spark, dbt и Trino.
  • Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake.
  • Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana.
  • Управлять инфраструктурой и конфигурацией через GitOps с использованием ArgoCD и Helm.
  • Взаимодействовать с продуктовой командой, понимать потребности пользователей и развивать DLH как внутренний продукт.

Требования

  • Более 6 лет опыта и практический опыт построения Data Lakehouse-платформ или крупных Data Platform решений.
  • Опыт проектирования DLH с нуля.
  • Глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle и оптимизация запросов.
  • Понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg, Parquet и аналогичные технологии.
  • Опыт работы с Trino и понимание принципов распределённого выполнения запросов.
  • Опыт работы с Airflow и построения сложных data workflows, включая разработку кастомных операторов, сенсоров, хуков и плагинов.

Культура и преимущества

  • Полная занятость.
  • Удалённый или гибридный формат работы по договорённости с руководителем.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →