Data Engineer (Hadoop)

Локация: Москва, офисный формат работы на месте работодателя — м. Кутузовская, ул. Поклонная, 3

Зарплата: до 480 000 ₽ в месяц до вычета налогов

Компания

ИТ-подразделение СБЕР разрабатывает дата-платформу Data Lakehouse на базе Hadoop для обработки сотен петабайт банковских данных.

Что делать

• Разрабатывать и развивать DWH, Data Lake и Data Lakehouse.
• Строить поставку данных в режимах Batch, NRT и RealTime.
• Разрабатывать и поддерживать витрины данных на Hadoop, включая HDFS, Iceberg и Hive.
• Оптимизировать ETL-процессы и снижать задержки доступа к данным.
• Разрабатывать и валидировать архитектуру данных.
• Работать с потоковыми пайплайнами, Kafka и dynamic tables.

Требования

• Отличное знание SQL, включая JOIN, CTE, оконные функции и фреймы.
• Опыт работы с Hadoop, Spark, Iceberg или Paimon.
• Опыт работы с Kafka и другими брокерами сообщений.
• Опыт использования оркестраторов, например Airflow, и CI/CD.
• Опыт построения архитектур данных, включая Data Vault, Инмана или Кимбалла.
• Опыт существенной оптимизации ETL; знание Python для разработки ETL будет преимуществом.

Хорошо, если есть

• Практическое знание Java или Scala.
• Опыт создания и защиты архитектуры данных.
• Опыт разработки solution-архитектуры data-продуктов.

Культура и преимущества

• Работа в команде дата-инженеров над сложными инженерными задачами и большими объемами данных.
• Годовая премия.
• Корпоративный спортзал, зоны отдыха и регулярные митапы.
• Более 400 образовательных программ СберУниверситета и развитое DS-сообщество.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Льготные ипотечные условия, подписка Прайм и вознаграждение за рекомендации.