Data Engineer (Apache Airflow)

Локация: Минск, проспект Независимости, 173. Работа на месте работодателя; после испытательного срока доступен гибридный формат.

Компания

Betera развивает проекты и сервисы на рынке Беларуси.

Что делать

• Проектировать, разрабатывать и оптимизировать ETL/ELT-пайплайны с Apache Airflow и dbt.
• Интегрировать внешние и внутренние источники данных: REST API, базы данных, Kafka, Web Scraping и Google Sheets.
• Проектировать и развивать DWH и аналитические витрины на Trino и Apache Iceberg в S3.
• Настраивать проверки качества данных, мониторинг аномалий и алертинг.
• Оптимизировать SQL-запросы и процессы обработки данных, поддерживать существующие пайплайны и устранять проблемы.
• Вести документацию по архитектуре данных, слоям DWH и интеграциям.

Требования

• От 3 лет опыта в Data Engineering.
• Уверенное знание SQL: сложные запросы, оконные функции, агрегации, планы выполнения и оптимизация запросов.
• Уверенное владение Python для работы с API, библиотеками обработки данных и автоматизацией.
• Практический опыт построения и оркестрации пайплайнов в Apache Airflow.
• Практический опыт работы с dbt: модели, макросы и тесты.
• Понимание проектирования DWH, построения слоев данных и подходов Data Vault, Kimball и Inmon.
• Практический опыт настройки проверок Data Quality.
• Базовые навыки работы с Docker и Git.

Хорошо, если есть

• Опыт системного анализа источников данных и преобразования структуры данных в аналитическую модель.
• Понимание хранения данных в объектных хранилищах, опыт работы с AWS S3, Apache Iceberg или Delta Lake.
• Опыт работы с Trino, Presto или ClickHouse.
• Опыт работы с каталогами данных: Project Nessie, Apache Polaris или AWS Glue.
• Базовый опыт работы с PySpark, Apache Kafka и Kubernetes, включая KubernetesPodOperator.
• Опыт взаимодействия с BI-системами Apache Superset, Power BI или Tableau.

Культура и преимущества

• Полная занятость, график 5/2 с 10:00 до 18:00; гибридный формат после испытательного срока.
• Конкурентная заработная плата и бонусы.
• 5 Days Off и 16 Hours off для решения личных дел в рабочее время.
• Современный офис с зонами отдыха и спортивной инфраструктурой.
• Оплата внешнего обучения, внутренняя база знаний, компенсация транспорта, медицинской страховки и занятий спортом.
• Корпоративные, спортивные, волонтерские и экологические инициативы.

Процесс найма

• Для отклика необходимо отправить CV.
• Если опыт соответствует требованиям, с кандидатом свяжутся в течение недели.