3 дня назад
Senior Data Engineer (Отдел разработки DWH и Data инженерии)
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Senior Data Engineer (Lakehouse): Проектирование и развитие Lakehouse-платформы на базе Spark и Iceberg, создание ETL/ELT-пайплайнов и аналитических витрин с акцентом на производительность, надёжность и observability Data Platform. Фокус на построении сложных DAG в Airflow, оптимизации Trino-запросов, развитии Data Mesh и обеспечении качества данных.
Локация: Алматы, проспект Назарбаева, 50; гибридный формат — 2 дня в офисе и 3 дня удалённо
Компания
KMF Банк — финансовая организация, развивающая хранилище данных и платформу Data Engineering.
Что делать
- Проектировать и развивать Lakehouse-платформу на базе Apache Spark и Iceberg.
- Разрабатывать и поддерживать сложные ETL/ELT-пайплайны в Apache Airflow.
- Создавать высокопроизводительные аналитические запросы и витрины данных в Trino или PrestoSQL.
- Оптимизировать производительность обработки данных и повышать надёжность Data Platform.
- Участвовать в выборе и внедрении новых технологий для Data Engineering.
- Развивать мониторинг и observability платформы, проводить code review.
Требования
- От 3 до 6 лет опыта коммерческой разработки.
- Глубокий опыт работы с Apache Spark и Python.
- Практический опыт построения Lakehouse-архитектуры.
- Уверенное владение Apache Airflow: сложные DAG, кастомные операторы и CI/CD-пайплайны.
- Опыт работы с Trino или Presto, включая оптимизацию, тюнинг и federated queries.
- Понимание Data Mesh, Data Quality, Schema Evolution, Partitioning и Z-Order; готовность работать в гибридном формате в Алматы.
Хорошо, если есть
- Опыт работы с PostgreSQL под высокой нагрузкой и навыки тюнинга.
- Знание Greenplum или Cloudberry.
- Знание Kubernetes и DBT.
- Опыт построения real-time или near real-time пайплайнов с Kafka и Flink.
Культура и преимущества
- Официальное трудоустройство в соответствии с ТК РК.
- Гибкий график: 08:30–17:30, 09:00–18:00 или 09:30–18:30.
- Ежегодный оплачиваемый отпуск — 28 календарных дней.
- После испытательного срока — кафетерий льгот: медицинское страхование, обучение, спорт, развитие детей, авиа- и железнодорожные билеты.
- Два дополнительных дня Day Off в год.
- После года работы — лечебное пособие в размере одного оклада при отпуске от 14 дней.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Похожие вакансии
5 дней назад
Data Engineer (Gaming)
3 дня назад
Middle / Senior ML Engineer (NLP)
Народный банк Казахстана
2 дня назад
Senior Data Scientist (LLM)
Страховая компания Халык
23 часа назад
ML Engineer (Computer Vision)
AyaHealth
4 дня назад
ML-инженер (AI)
1 000 000KZT
Freedom Insurance
2 дня назад