Роль чётко ориентирована на создание платформы данных, предполагает высокий уровень ответственности и использует актуальный стек; без информации о зарплате сложнее оценить предложение целиком.
Актуальный стек
Зона ответственности
?Высокий порог
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Data Lakehouse Engineer (Data Platform): Проектирование и развитие Data Lakehouse-платформы, ETL/ELT-пайплайнов и инфраструктуры наблюдаемости с акцентом на Spark, Trino, S3, Airflow и GitOps. Focus on проектировании DLH с нуля, оптимизации распределённого выполнения запросов, управлении данными в Iceberg/Parquet и развитии платформы как внутреннего продукта.
Локация: Москва; удалённый формат, гибридный по договорённости с руководителем
Компания
RWB (Wildberries & Russ).
Что делать
Проектировать и развивать Data Lakehouse-платформу.
Разрабатывать ETL/ELT-пайплайны на базе Spark, dbt и Trino.
Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake.
Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana.
Управлять инфраструктурой и конфигурацией через GitOps с использованием ArgoCD и Helm.
Взаимодействовать с продуктовой командой, понимать потребности пользователей и развивать DLH как внутренний продукт.
Требования
Более 6 лет опыта и практический опыт построения Data Lakehouse-платформ или крупных Data Platform решений.
Опыт проектирования DLH с нуля.
Глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle и оптимизация запросов.
Понимание принципов работы форматов данных и таблиц в Data Lake, включая Iceberg, Parquet и аналогичные технологии.
Опыт работы с Trino и понимание принципов распределённого выполнения запросов.
Опыт работы с Airflow и построения сложных data workflows, включая разработку кастомных операторов, сенсоров, хуков и плагинов.
Культура и преимущества
Полная занятость.
Удалённый или гибридный формат работы по договорённости с руководителем.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →