Назад
19 часов назад

Data Engineer (Middle+/Senior) (Fintech)

Формат работы
onsite
Тип работы
fulltime
Грейд
middle/senior
Страна
Kazakhstan
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Data Engineer (Middle+/Senior) (Fintech): Построение и развитие хранилища данных, ETL/ELT-пайплайнов и платформы данных с акцентом на интеграцию API, реляционных БД, Kafka и внешних сервисов. Focus on проектирование DWH/Data Lakehouse, обработку больших объемов данных, обеспечение качества и надежности пайплайнов, а также подготовку данных для аналитики и ML-моделей.

Локация: Алматы, офисный формат работы на месте работодателя

Компания

SAPA DIGITAL FINANCE — финтех-компания с действующими продуктами и реальными объемами данных.

Что делать

  • Стать первым Data Engineer и совместно с подрядчиком реализовать хранилище данных с дальнейшим развитием до платформы данных.
  • Проектировать архитектуру слоев, модели данных, паттерны разработки DWH и подключение новых источников.
  • Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы, пакетные и потоковые пайплайны.
  • Интегрировать данные из API, реляционных БД, Kafka и внешних сервисов, обеспечивать их качество, целостность и актуальность.
  • Настраивать мониторинг, логирование, обработку ошибок, резервное копирование и проверки восстановления хранилища.
  • Готовить данные для аналитики, отчетности и ML-моделей, ставить задачи подрядчикам, принимать результаты и документировать данные.

Требования

  • От 4 лет опыта работы Data Engineer; общий заявленный опыт — от 3 до 6 лет.
  • Опыт построения или рефакторинга хранилища данных от источника до витрины на ведущих ролях.
  • Уверенное владение SQL и Python; практический опыт работы с PostgreSQL и ClickHouse.
  • Глубокое знание PostgreSQL: индексы, партиционирование, репликация, планы запросов, резервное копирование и восстановление.
  • Опыт моделирования данных с историей изменений и бизнес-ключами, включая SCD2 и сквозной ключ клиента.
  • Опыт разработки ETL/ELT с Apache Airflow или аналогичными инструментами, а также автоматических проверок качества данных.
  • Понимание принципов проектирования DWH, Data Lakehouse, OLTP и OLAP, инкрементальной загрузки и CDC.
  • Опыт работы с большими объемами данных, оптимизации SQL-запросов, Git, мониторинга, отказоустойчивости и восстановления процессов.
  • Самостоятельность, системное мышление, ответственность за результат и умение объяснять технические вещи простым языком.

Хорошо, если есть

  • Опыт работы с Apache Kafka и потоковой обработкой данных.
  • Опыт использования dbt или аналогичных инструментов трансформаций.
  • Практический опыт построения или развития Data Lakehouse.
  • Знакомство с ML-пайплайнами и MLOps.
  • Опыт работы с финансовыми данными, скоринговыми системами, кредитными продуктами или данными BPM-систем.
  • Опыт подготовки данных для регуляторной отчетности и интеграции данных в микросервисной архитектуре.

Культура и преимущества

  • Ответственность за архитектуру данных и самостоятельное принятие технических решений.
  • Перспектива роста до руководителя Data-направления компании.
  • Участие в развитии платформы данных и современных решений для аналитики.
  • Работа в офисе в Алматы.
  • Конкурентная заработная плата по результатам собеседования.
  • Компенсация профильного обучения, бесплатные курсы английского языка и медицинское страхование за счет компании с установленным лимитом покрытия.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →