Назад

Data Engineer (Python/Spark)

Формат работы
onsite
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Инженер по данным (Python/Spark): Разработка и сопровождение масштабируемой инфраструктуры обработки данных для маркетинговой аналитики банка с акцентом на ETL/ELT, DWH, аналитические витрины и автоматизацию BI-отчётности. Focus on построение распределённых пайплайнов, интеграцию внутренних и внешних источников, контроль качества данных и восстановление процессов при сбоях.

Локация: Москва, метро Войковская; работа на месте работодателя

Компания

АО «ОТП Банк» — банковская организация, развивающая инфраструктуру данных для маркетинговой аналитики и бизнес-отчётности.

Что делать

  • Разрабатывать, оптимизировать и сопровождать ETL/ELT-процессы на SQL, Python, Apache Spark и других инструментах.
  • Проектировать и поддерживать DWH, аналитические модели и витрины данных в Hadoop, Spark, Iceberg, Greenplum и ClickHouse.
  • Интегрировать внутренние банковские системы и внешние платформы, включая AppMetrica, Яндекс Метрику и Яндекс Директ, через API, SFTP и другие согласованные способы обмена.
  • Автоматизировать и оркестрировать расчёты в Apache Airflow, управлять расписаниями, зависимостями, повторными запусками и обработкой ошибок.
  • Обеспечивать регулярное обновление источников, датасетов и дашбордов FineBI, а также контролировать качество и своевременность данных.
  • Мониторить пайплайны, устранять сбои, настраивать логирование и уведомления, взаимодействовать с аналитиками, владельцами систем, инфраструктурными подразделениями и командами информационной безопасности.

Требования

  • От 3 до 6 лет опыта работы.
  • Уверенное владение SQL и Python для обработки данных, интеграций и автоматизации.
  • Практический опыт разработки и сопровождения ETL/ELT-процессов, включая инкрементальные загрузки, повторные запуски и обработку ошибок.
  • Опыт работы с Apache Spark, включая PySpark и/или Spark SQL, и понимание распределённой обработки больших объёмов данных.
  • Опыт работы с Apache Airflow или аналогичными инструментами оркестрации.
  • Опыт работы с DWH и аналитическими базами данных, понимание архитектуры хранилищ и построения аналитических витрин.
  • Понимание подходов к обеспечению качества данных, мониторингу и диагностике процессов обработки.
  • Опыт использования Git и инструментов совместной разработки, участия в Code Review и документирования решений.
  • Понимание интеграции информационных систем, работы с API и основных способов передачи данных; умение работать с техническими требованиями и взаимодействовать с аналитиками и смежными IT-командами.

Культура и преимущества

  • Полная занятость в офисе работодателя.
  • Участие в развитии инженерных практик, тестирования и поставки кода.
  • Работа в рамках архитектуры, стандартов банка и требований информационной безопасности.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →