Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Hadoop): Разработка и развитие дата-платформы Data Lakehouse на базе Hadoop для обработки сотен петабайт банковских данных с акцентом на Batch/NRT/RealTime-поставку, ETL и потоковые пайплайны. Фокус на оптимизации latency и ETL, проектировании архитектуры данных, а также построении надежных решений на Spark, Kafka, Hive и Iceberg.
Локация: Москва, офисный формат работы на месте работодателя — м. Кутузовская, ул. Поклонная, 3
Зарплата: до 480 000 ₽ в месяц до вычета налогов
Компания
ИТ-подразделение СБЕР разрабатывает дата-платформу Data Lakehouse на базе Hadoop для обработки сотен петабайт банковских данных.
Что делать
- Разрабатывать и развивать DWH, Data Lake и Data Lakehouse.
- Строить поставку данных в режимах Batch, NRT и RealTime.
- Разрабатывать и поддерживать витрины данных на Hadoop, включая HDFS, Iceberg и Hive.
- Оптимизировать ETL-процессы и снижать задержки доступа к данным.
- Разрабатывать и валидировать архитектуру данных.
- Работать с потоковыми пайплайнами, Kafka и dynamic tables.
Требования
- Отличное знание SQL, включая JOIN, CTE, оконные функции и фреймы.
- Опыт работы с Hadoop, Spark, Iceberg или Paimon.
- Опыт работы с Kafka и другими брокерами сообщений.
- Опыт использования оркестраторов, например Airflow, и CI/CD.
- Опыт построения архитектур данных, включая Data Vault, Инмана или Кимбалла.
- Опыт существенной оптимизации ETL; знание Python для разработки ETL будет преимуществом.
Хорошо, если есть
- Практическое знание Java или Scala.
- Опыт создания и защиты архитектуры данных.
- Опыт разработки solution-архитектуры data-продуктов.
Культура и преимущества
- Работа в команде дата-инженеров над сложными инженерными задачами и большими объемами данных.
- Годовая премия.
- Корпоративный спортзал, зоны отдыха и регулярные митапы.
- Более 400 образовательных программ СберУниверситета и развитое DS-сообщество.
- Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
- Льготные ипотечные условия, подписка Прайм и вознаграждение за рекомендации.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →