Data Engineer (Apache Spark/Airflow)

Локация: Москва, работа на месте работодателя; в условиях также указан гибридный формат

Компания

ИТ B2C — крупная экосистема Сбера, развивающая розничные банковские решения и платформу данных для обмена информацией с компаниями-партнёрами.

Что делать

• Проектировать и реализовывать ETL/ELT-пайплайны, включая DAG в Apache Airflow.
• Оптимизировать и сопровождать процессы обработки больших данных на Apache Spark и Apache Flink.
• Интегрировать базы данных, API и файловые хранилища в единую pipeline-архитектуру.
• Настраивать и администрировать Airflow для оркестрации workflows.
• Участвовать в разработке архитектуры хранения и обработки данных, включая Hadoop-экосистему.
• Документировать решения и формировать базы знаний.

Требования

• Опыт от 1 года до 3 лет.
• Высшее образование.
• Опыт разработки, оптимизации и мониторинга ETL/ELT-процессов.
• Профильное владение Python, включая библиотеки для работы с данными.
• Практический опыт распределённых вычислений: Apache Spark с PySpark/Scala или Apache Flink.
• Глубокое понимание SQL и опыт работы с РСУБД, включая PostgreSQL и MySQL.
• Знание Apache Airflow: создание DAG, настройка сенсоров и операторов.
• Навыки администрирования Linux, включая развёртывание, мониторинг и troubleshooting.

Хорошо, если есть

• Базовые знания Scala или готовность к изучению.
• Опыт работы с Hadoop: HDFS, YARN, Hive.
• Знание облачных платформ: AWS S3/Glue, GCP BigQuery, Azure Data Factory.
• Навыки автоматизации с Ansible и Terraform.
• Опыт работы со стриминговыми данными, Kafka и Debezium.

Культура и преимущества

• Полная занятость; указан гибридный формат работы, при этом в карточке вакансии обозначена работа на месте работодателя в Москве.
• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС и льготное страхование для семьи.
• Система обучения для профессионального и карьерного развития.
• Льготная ипотека, корпоративная пенсионная программа и подписка Прайм с возможностью совместного использования.
• Вознаграждение за рекомендации кандидатов в команду Сбера.