Назад
38 минут назад

Middle Data Engineer (DWH)

Формат работы
onsite
Тип работы
fulltime
Грейд
middle
Страна
Kazakhstan
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Middle Data Engineer (DWH): Разработка и сопровождение ETL/ELT-процессов, потоков обработки данных и интеграций для корпоративной Data Platform крупного банка с акцентом на DWH, SQL, Kafka, NiFi и Python. Фокус на моделировании данных, оптимизации загрузки и обработки, обеспечении качества данных и развитии решений для Batch и Real-Time Analytics.

Локация: Астана, улица Достык, 8/1; работа на месте работодателя

Компания

ForteBank — крупный банк, развивающий корпоративную Data Platform, DWH и решения для аналитики в реальном времени.

Что делать

  • Разрабатывать и сопровождать ETL/ELT-процессы и потоки Batch / Real-Time обработки данных.
  • Разрабатывать и оптимизировать SQL-запросы, процедуры и аналитические витрины в DWH.
  • Участвовать в развитии архитектуры DWH, моделировании данных и оптимизации хранения.
  • Разрабатывать и сопровождать интеграции на базе Kafka, NiFi, CDC и REST API, а также Python-скрипты для обработки данных и автоматизации.
  • Мониторить, диагностировать и оптимизировать процессы загрузки и обработки данных.
  • Обеспечивать качество данных, участвовать в Code Review и CI/CD.

Требования

  • От 3 лет опыта в Data Engineering / DWH.
  • Уверенное знание SQL и опыт работы с Greenplum, PostgreSQL или Oracle.
  • Понимание архитектуры DWH, моделирования данных, ETL/ELT и MPP.
  • Опыт разработки ETL-процессов с Informatica PowerCenter, Airflow или аналогами.
  • Знание Python и принципов работы REST API, включая HTTP и JSON.
  • Опыт работы с Kafka и/или NiFi, понимание CDC и потоковой обработки данных.
  • Навыки оптимизации SQL, работы с Linux и Git.

Хорошо, если есть

  • Опыт работы со StarRocks, YMatrix или ClickHouse.
  • Знание Informatica PowerExchange CDC, Debezium или IBM CDC.
  • Опыт работы с Flink, Spark или PySpark.
  • Знакомство с FastAPI, Flask, Docker и CI/CD.
  • Опыт разработки решений для банковских систем.

Культура и преимущества

  • Полная занятость на месте работодателя.
  • Работа над корпоративной Data Platform крупного банка.
  • Участие в проектах DWH, Real-Time Analytics и интеграции данных.
  • Работа с современным стеком Data Engineering и развитие профессиональных компетенций.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →