Tech Lead Data Engineer (Apache Spark)

Локация: Москва, офисный формат работы на месте работодателя — м. Кутузовская, ул. Поклонная, 3

Зарплата: до 500 000 ₽ в месяц до вычета налогов

Компания

СБЕР развивает централизованное единое хранилище данных блока B2C и платформы Data Lakehouse и Data Streamhouse.

Что делать

• Проектировать и оптимизировать витрины данных, ETL- и ELT-пайплайны на Apache Spark и Greenplum.
• Разрабатывать потоковые RT- и NRT-пайплайны Kafka2Iceberg и Kafka2Kafka с использованием Apache Flink и Spark Structured Streaming.
• Участвовать в развитии архитектуры Data Lakehouse и Data Streamhouse, включая партиционирование, compaction и time travel в Apache Iceberg.
• Реализовывать инкрементальную загрузку, API доступа к витринам и сервисам семантического слоя на Java или Scala.
• Оптимизировать Spark-приложения с использованием Gluten/Velox, а также разрабатывать механизмы сверки и контроля качества данных.
• Внедрять решения в продуктивную среду, настраивать CI/CD в Jenkins и управлять зависимостями задач в Oozie или современных оркестраторах.

Требования

• Более 6 лет опыта в разработке и эксплуатации высоконагруженных систем.
• Уверенное владение SQL, Java или Scala и Python для ad-hoc-анализа и Data Quality.
• Глубокое понимание Apache Hadoop, включая HDFS и YARN, и опыт промышленной эксплуатации.
• Опыт разработки пайплайнов на Apache Spark Core, Spark SQL и Structured Streaming не ниже middle-уровня.
• Опыт работы с Apache Kafka и Apache Flink или Spark Streaming.
• Знание Parquet, ORC, Avro, Apache Iceberg и методов оптимизации Spark: настройка ресурсов, устранение перекосов данных, работа с памятью и shuffle.

Хорошо, если есть

• Опыт внедрения промышленных пакетных и потоковых пайплайнов передачи данных.
• Опыт работы с Gluten/Velox или аналогичными векторизованными движками.
• Навыки сборки и развертывания Docker-образов приложений.

Культура и преимущества

• Годовая премия и расширенный ДМС, включая льготное страхование для семьи.
• Корпоративная пенсионная программа, спортзал и зоны отдыха в офисе.
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• Регулярные митапы и развитое DS-сообщество.
• Льготный дисконт по ипотечному кредиту, подписка Прайм и вознаграждение за рекомендации.