Senior Data Engineer (DWH, ETL)

Локация: удалённая работа, Москва

Компания

Amex Development развивает корпоративное хранилище данных крупной компании, собирая данные из десятков источников и формируя витрины для единой бизнес-отчётности.

Что делать

• Проектировать и развивать DWH, слои, витрины и модели данных: star schema, medallion и SCD2.
• Строить и поддерживать ETL/ELT-пайплайны на Airflow, Spark и Python.
• Работать с PostgreSQL, Greenplum и ClickHouse, оптимизировать загрузки и запросы на больших объёмах.
• Организовывать потоковую загрузку из Kafka или RabbitMQ, обеспечивать идемпотентность и выполнять backfill.
• Обеспечивать качество данных через тесты, сверки с источниками, мониторинг свежести и объёмов.
• Участвовать в архитектурных решениях, проводить код-ревью, наставлять коллег, вести документацию и каталог данных.

Требования

• От 5 лет опыта в Data Engineering или DWH; общий опыт более 6 лет.
• Продвинутый SQL: оконные функции, CTE, чтение планов и оптимизация.
• Python на уровне production-кода.
• Опыт работы с ETL/ELT, Airflow и Spark.
• Понимание моделирования хранилищ и инкрементальной загрузки.
• Опыт работы с ClickHouse или Greenplum/PostgreSQL на больших объёмах.
• Опыт работы с Kafka или RabbitMQ, Docker, Git и CI/CD.
• Опыт проведения код-ревью и наставничества.
• Опыт использования dbt в продакшене.
• Знание Apache Iceberg или Delta/Hudi, Trino, Debezium и CDC.
• Знание инструментов data quality и каталогов данных.
• Опыт работы с Kubernetes и on-prem-инфраструктурой.

Культура и преимущества

• Полная занятость с графиком 5/2.
• Удалённый формат работы.
• Работа в аккредитованной ИТ-компании.
• Современный стек технологий и проекты для крупных игроков рынка.
• Официальное трудоустройство по ТК РФ или работа через ИП РФ.