Data Engineer (AI)

Локация: Астана, улица Динмухамеда Кунаева, 10; работа на месте работодателя и в гибридном формате

Компания

Развивается направление интеллектуальных решений с собственной инфраструктурой данных, Kubernetes, объектным хранилищем и GPU-сегментом.

Что делать

• Строить пайплайны выгрузки данных из PostgreSQL, Oracle, Hive, Kafka, файлов и API.
• Разрабатывать и сопровождать DAG'и в Airflow: инкрементальные загрузки, ретраи, алертинг и восстановление после сбоев.
• Собирать аналитические витрины и датасеты для AI-сервисов и ML.
• Обеспечивать качество данных с помощью входных проверок, контроля расхождений и диагностики инцидентов.
• Оптимизировать запросы и модели данных для соблюдения SLA.

Требования

• От 3 лет опыта в Data Engineering, ETL, DWH или backend-разработке с фокусом на данные.
• Уверенный SQL, включая оконные функции и анализ планов выполнения.
• Практический опыт с PostgreSQL: индексы, блокировки и партиционирование.
• Промышленная разработка пайплайнов на Python и опыт с Airflow, Dagster, Prefect или аналогичным оркестратором.
• Опыт с аналитической СУБД, распределённым хранением, Hive или Spark, а также Docker.
• Работа с Huawei Cloud Stack, Kafka и CDC, Oracle, dbt, Kubernetes, Prometheus, Grafana, Data Quality и Data Contracts будет полезна; часть инструментов можно освоить в команде.

Хорошо, если есть

• Опыт с ClickHouse, Greenplum, GaussDB(DWS) или Vertica.
• Знания в обработке документов, векторных хранилищах и эмбеддингах для подготовки данных под ML.

Культура и преимущества

• Работа с данными группы компаний, а не только одного отдела.
• Собственная инфраструктура на базе Kubernetes, объектного хранилища и GPU-сегмента.
• Возможность влиять на архитектуру слоя данных в молодом направлении.