5 дней назад
Data Engineer DLH / Инженер данных Data Lakehouse
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер данных Data Lakehouse (Python/SQL/Apache Airflow): Проектирование и поддержка ETL/ELT-процессов, трансформаций и витрин данных для решений Data Lakehouse с акцентом на пакетную и потоковую обработку, Apache Iceberg и объектные хранилища. Focus on настройку оркестрации пайплайнов, контроль качества данных и взаимодействие с аналитиками и архитекторами.
Локация: Минск, улица Куйбышева, 35; работа на месте работодателя или в гибридном формате
Компания
А2 Консалтинг — представитель группы компаний КОРУСКонсалтинг, резидент ПВТ и IT-интегратор в области BI, корпоративных хранилищ данных и современных data-решений для предприятий различных отраслей.
Что делать
- Проектировать, разрабатывать и поддерживать ETL/ELT-процессы загрузки данных из источников в Data Lakehouse.
- Разрабатывать трансформации данных по слоям решения и собирать витрины по техническим заданиям для сервисов и BI-аналитики.
- Настраивать и сопровождать оркестрацию пайплайнов в Apache Airflow.
- Работать с табличным слоем Apache Iceberg и объектным хранилищем.
- Участвовать в контроле качества данных, документировать решения и комментировать код.
- Взаимодействовать с Data-аналитиками и архитекторами при создании и оптимизации витрин данных.
Требования
- Опыт работы Data Engineer от 2 лет; в вакансии указан общий опыт от 3 до 6 лет.
- Уверенное знание SQL и реляционных баз данных.
- Уверенное знание Python.
- Опыт работы с оркестраторами ETL-процессов, особенно Apache Airflow.
- Понимание концепций Data Lakehouse и медальонной архитектуры.
- Опыт построения ETL/ELT-пайплайнов для пакетной и потоковой обработки.
Хорошо, если есть
- Опыт работы с S3-совместимыми хранилищами MinIO/Ceph и форматами Apache Iceberg, Hudi или Delta.
- Опыт работы с Apache Spark, Trino/Presto, Apache Kafka, Debezium или dbt.
- Опыт внедрения решений на Kubernetes.
- Опыт в банковской или финансовой сфере.
- Знакомство с Apache Atlas и Apache Ranger.
Культура и преимущества
- Официальное оформление в штат, социальный пакет и корпоративные бонусы.
- График 5/2 с 9:00 до 18:00 и возможность организовать гибкое рабочее время.
- Офис в 10 минутах от станции метро «Площадь Победы».
- Оплата английского языка, спорта, ДМС, такси, скидок у партнёров, а также офисные фрукты и мероприятия.
- Профессиональное и личностное развитие за счёт компании, участие в конференциях и семинарах.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →