Senior DWH Developer (Hadoop/Spark)

TL;DR

Senior DWH Developer (Hadoop/Spark): Разработка и поддержка распределённого хранилища данных для обеспечения ключевых бизнес-процессов банка с акцентом на проектирование высоконагруженных решений и внедрение AI/ML систем. Фокус на построении архитектуры DWH/Data Lake, оптимизации ETL-процессов и реализации CI/CD/MLOps пайплайнов.

Локация: Гибрид или офис в Москве

Зарплата: 350 000 — 500 000 ₽/мес до налогов

Компания

Команда данных Казначейства Сбера, создающая распределённые хранилища для поддержки бизнес-процессов банка.

Что делать

• Проектировать и реализовывать высоконагруженные распределённые решения.
• Развивать архитектуру корпоративных хранилищ данных (DWH, Data Lake, LakeHouse).
• Создавать прикладные сервисы доступа к данным и инструменты администрирования хранилища.
• Формировать требования и контролировать внедрение CI/CD, DataOps и MLOps.
• Проводить code review и обеспечивать соблюдение стандартов разработки.
• Планировать и осуществлять технологические трансформации процессов управления данными.

Требования

• Опыт работы от 5 лет с технологическим стеком Hadoop (HDFS, YARN, Hive) и Apache Spark.
• Продвинутые знания SQL и практический опыт работы с DWH/Data Lake.
• Уверенное владение Python и опытом разработки на PySpark.
• Опыт работы с ETL-инструментами (IPC или Apache NiFi).
• Знание принципов DDD, SOLID и паттернов проектирования.
• Опыт работы с K8s и OpenShift.

Хорошо, если есть

• Опыт работы с PostgreSQL и Apache Airflow.
• Опыт использования AI-инструментов для повышения эффективности написания кода.

Культура и преимущества

• Возможность выбора удобного формата работы: офис или гибрид.
• Ежегодный пересмотр заработной платы и годовые премии.
• Расширенный пакет ДМС, корпоративная пенсионная программа и льготная ипотека до 4%.
• Профессиональное развитие через СберУниверситет (400+ программ) и адаптационный IT Bootcamp.
• Доступ к корпоративному спортзалу, зонам отдыха и бесплатная подписка СберПрайм+.