Назад
3 дня назад

Senior Data Engineer (Отдел разработки DWH и Data инженерии)

Формат работы
hybrid
Тип работы
fulltime
Грейд
senior
Страна
Kazakhstan
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Senior Data Engineer (Lakehouse): Проектирование и развитие Lakehouse-платформы на базе Spark и Iceberg, создание ETL/ELT-пайплайнов и аналитических витрин с акцентом на производительность, надёжность и observability Data Platform. Фокус на построении сложных DAG в Airflow, оптимизации Trino-запросов, развитии Data Mesh и обеспечении качества данных.

Локация: Алматы, проспект Назарбаева, 50; гибридный формат — 2 дня в офисе и 3 дня удалённо

Компания

KMF Банк — финансовая организация, развивающая хранилище данных и платформу Data Engineering.

Что делать

  • Проектировать и развивать Lakehouse-платформу на базе Apache Spark и Iceberg.
  • Разрабатывать и поддерживать сложные ETL/ELT-пайплайны в Apache Airflow.
  • Создавать высокопроизводительные аналитические запросы и витрины данных в Trino или PrestoSQL.
  • Оптимизировать производительность обработки данных и повышать надёжность Data Platform.
  • Участвовать в выборе и внедрении новых технологий для Data Engineering.
  • Развивать мониторинг и observability платформы, проводить code review.

Требования

  • От 3 до 6 лет опыта коммерческой разработки.
  • Глубокий опыт работы с Apache Spark и Python.
  • Практический опыт построения Lakehouse-архитектуры.
  • Уверенное владение Apache Airflow: сложные DAG, кастомные операторы и CI/CD-пайплайны.
  • Опыт работы с Trino или Presto, включая оптимизацию, тюнинг и federated queries.
  • Понимание Data Mesh, Data Quality, Schema Evolution, Partitioning и Z-Order; готовность работать в гибридном формате в Алматы.

Хорошо, если есть

  • Опыт работы с PostgreSQL под высокой нагрузкой и навыки тюнинга.
  • Знание Greenplum или Cloudberry.
  • Знание Kubernetes и DBT.
  • Опыт построения real-time или near real-time пайплайнов с Kafka и Flink.

Культура и преимущества

  • Официальное трудоустройство в соответствии с ТК РК.
  • Гибкий график: 08:30–17:30, 09:00–18:00 или 09:30–18:30.
  • Ежегодный оплачиваемый отпуск — 28 календарных дней.
  • После испытательного срока — кафетерий льгот: медицинское страхование, обучение, спорт, развитие детей, авиа- и железнодорожные билеты.
  • Два дополнительных дня Day Off в год.
  • После года работы — лечебное пособие в размере одного оклада при отпуске от 14 дней.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →