Эта вакансия в архиве
Посмотреть похожие вакансии ↓Описание вакансии
Текст:
TL;DR
Tech Lead Data Engineer (Apache Spark): Разработка единого хранилища данных B2C и высоконагруженных ETL/ELT и streaming-пайплайнов с акцентом на Apache Hadoop, Spark, Kafka, Flink и Iceberg. Focus on проектирование Data Lakehouse и Data Streamhouse, оптимизацию распределённых вычислений, контроль качества данных и внедрение решений в продуктивную среду.
Локация: офисный формат, Москва, м. Кутузовская, ул. Поклонная, 3
Зарплата: до 500 000 ₽ в месяц до вычета налогов
Компания
СБЕР развивает единое хранилище данных блока B2C и платформы Data Lakehouse и Data Streamhouse для высоконагруженной обработки данных.
Что делать
- Проектировать и оптимизировать витрины данных, ETL/ELT-пайплайны на Apache Spark и Greenplum.
- Разрабатывать RT- и NRT-пайплайны между Kafka, Apache Iceberg, Apache Flink и Spark Structured Streaming.
- Участвовать в развитии архитектуры Data Lakehouse и Data Streamhouse, включая партиционирование, compaction и time travel в Apache Iceberg.
- Реализовывать инкрементальную загрузку, API на Java или Scala и механизмы контроля качества данных на Spark и Python.
- Оптимизировать Spark-приложения с использованием векторных движков Gluten/Velox, а также настраивать сборку, деплой и оркестрацию в Jenkins и Oozie или современных оркестраторах.
- Уточнять требования с внутренними бизнес-заказчиками и презентовать доработки сервиса.
Требования
- Более 6 лет опыта; опыт разработки пайплайнов на Apache Spark уровня не ниже middle.
- Уверенное владение SQL, Java или Scala и Python для ad-hoc анализа и Data Quality.
- Глубокое понимание Apache Hadoop, включая HDFS и YARN, и опыт работы с экосистемой в продуктивной среде.
- Опыт работы с Apache Kafka как источником или приёмником и хотя бы одним фреймворком потоковой обработки: Apache Flink или Spark Streaming.
- Знание Parquet, ORC, Avro и современных подходов к управлению Data Lakehouse; знание Apache Iceberg обязательно.
- Опыт оптимизации Spark: настройка ресурсов, устранение перекосов данных, работа с memory и оптимизация shuffle.
Хорошо, если есть
- Опыт внедрения промышленных пайплайнов пакетной и потоковой передачи данных.
- Опыт внедрения Gluten/Velox или аналогичных векторизованных движков.
- Навыки сборки и развёртывания Docker-образов приложений.
Культура и преимущества
- Офисный формат работы в Москве.
- Годовая премия, расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
- Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
- Более 400 образовательных программ СберУниверситета, регулярные митапы и развитое DS-сообщество.
- Льготные условия ипотечного кредита и вознаграждение за рекомендации сотрудников.
Музыка
Осень
Поддержка