Data Engineer

🖥 Data Engineer
от 200 000 ₽
Офис (Астана)

BI Group — крупнейшая девелоперская компания Центральной Азии.

Требования:
– Опыт работы более 3 лет в роли Data Engineer или на смежной позиции с фокусом на построение data-пайплайнов;
– ClickHouse — глубокое понимание движков семейства MergeTree (ReplacingMergeTree, AggregatingMergeTree, SummingMergeTree), партиционирования, проекций, материализованных представлений;
– Опыт настройки шардирования и репликации;
– Навыки оптимизации тяжёлых запросов;
– Debezium + Kafka — опыт настройки CDC-коннекторов для реляционных и NoSQL-источников, понимание snapshot/streaming-режимов, обработка schema evolution, работа с Kafka Connect;
– Apache Airflow — уверенное написание DAG'ов, опыт с TaskFlow API, разработка кастомных операторов и хуков, понимание архитектуры (scheduler, executor, workers), настройка мониторинга и алертинга;
– DBT — построение моделей и тестов (generic и singular), макросы, инкрементальные модели, работа с источниками и снапшотами, ведение документации;
– Уверенный SQL: оконные функции, CTE, чтение и оптимизация планов выполнения;
– Python на уровне продакшн-кода;
– Опыт работы с качеством данных: написание тестов, data contracts, observability-практики.

➡️ Показать контакты

🔜 А избранные IT-вакансии вы найдете в нашем канале IT Job Hub