Data Engineer (Hadoop)

Кратко

Data Engineer (Hadoop): Развитие дата-платформы масштаба сотен петабайт для обработки и хранения банковских данных с акцентом на Data Lakehouse, batch- и потоковую загрузку. Фокус на проектировании архитектуры данных, оптимизации ETL, снижении latency и построении NRT/RealTime-пайплайнов.

Локация: офисный формат работы в Москве, м. Кутузовская, ул. Поклонная, 3

Компания

Крупнейшее банковское ИТ-подразделение, развивающее дата-платформу и единое хранилище данных на базе Hadoop.

Что делать

• Разрабатывать и развивать DWH, Data Lake и Lakehouse.
• Строить поставку данных в batch-, NRT- и RealTime-режимах.
• Разрабатывать витрины данных и пайплайны на Hadoop, Spark и Kafka.
• Оптимизировать ETL-процессы, повышать актуальность данных и снижать latency доступа.
• Проектировать и валидировать архитектуру данных, включая Data Vault, Инмана и Кимбалла.
• Поддерживать CI/CD и оркестрацию процессов обработки данных.

Требования

• Отличное знание SQL, включая JOIN, CTE, оконные функции и фреймы.
• Опыт работы с Hadoop, Spark и Iceberg или Paimon.
• Опыт работы с Kafka и другими брокерами сообщений.
• Опыт использования оркестраторов, например Airflow, и CI/CD-инструментов.
• Опыт построения, защиты и оптимизации архитектуры данных.
• Практическое знание Python для разработки ETL; Java и Scala будут преимуществом.

Хорошо, если есть

• Опыт разработки solution-архитектуры data-продуктов.
• Практический опыт создания и защиты архитектуры данных.
• Знание Java или Scala на уровне разработки.

Культура и преимущества

• Годовая премия.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Корпоративный спортзал и зоны отдыха.
• Более 400 образовательных программ для профессионального и карьерного развития.
• Регулярные митапы и развитое DS-сообщество.
• Льготные банковские условия, подписка Prime и вознаграждение за рекомендации.