Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Tech Lead Data Lakehouse Engineer в Корпоративное хранилище
Компания
Условия
Требования
Инженер по данным Lead Python SQL Можно удалённо
О компании и команде
RWB (Wildberries & Russ) — это международная технологическая
компания, образованная в результате слияния двух лидеров рынка — IT-компании Wildberries и оператора наружной рекламы Russ.
Сейчас мы одновременно развиваем два направления: поддерживаем и совершенствуем существующее хранилище данных на Greenplum и строим новое хранилище на базе современного Data Lakehouse-подхода.
Стань частью команды!
Вам предстоит:
- Проектировать и развивать Data Lakehouse платформу;
- Разрабатывать ETL/ELT пайплайны на базе Spark, DBT и Trino;
- Работать с объектным хранилищем S3 и организовывать эффективную работу с данными в Data Lake;
- Строить наблюдаемость платформы: метрики, дашборды и алертинг на базе Prometheus, VictoriaMetrics и Grafana;
- Управлять инфраструктурой и конфигурацией платформы через GitOps (ArgoCD, Helm);
- Взаимодействовать с продуктовой командой, понимать потребности пользователей платформы и развивать DLH как внутренний продукт.
Вы нам подходите, если:
- Имеете практический опыт построения Data Lakehouse платформ или крупных Data Platform решений;
- Обладаете опытом проектирования DLH с нуля;
- Имеете глубокое понимание архитектуры Spark: execution model, partitioning, memory management, shuffle, оптимизация запросов;
- Хорошо понимаете принципы работы форматов данных и таблиц в Data Lake (Iceberg/Parquet и аналогичных технологий);
- У вас есть опыт работы с Trino и понимание принципов распределенного выполнения запросов;
- Обладаете опытом работы с Airflow и построения сложных data workflows, разработки кастомных операторов, сенсоров, хуков и плагинов.
Преимущества для сотрудников:
- Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и многое другое;
- Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт, консультации психолога и дополнительные возможности аккредитованной IT-компании;
- Множество сообществ: клуб спикеров, футбола, йоги, шахмат и т.д.;
- Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких – от гибкого подхода до масштабных проектов для детей сотрудников;
- Скидки и партнерские программы: на обучение, страхование, покупки и многое другое;
- Комфортная рабочая среда: бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений