Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Senior Data Engineer (ClickHouse/Spark): Развитие платформы данных — от потоковой загрузки событий и построения моделей до холодного хранения и контроля качества данных — с акцентом на ClickHouse, Apache Iceberg, Spark, dbt и Airflow. Focus on проектирование потоков и lakehouse-хранилищ, дедупликацию и backfill, инкрементальную загрузку, оркестрацию DAG и обеспечение полноты и свежести данных.
Локация: удалённый формат работы; график 5/2: с 10:00 до 19:00 или с 11:00 до 20:00
Компания
Miractal развивает платформу данных с потоковой загрузкой событий, аналитическими моделями и холодным хранением.
Что делать
- Развивать потоковую загрузку событий из RabbitMQ в ClickHouse, включая подключение новых потоков, дедупликацию и backfill исторических данных.
- Строить холодное хранилище на Apache Iceberg, переносить архивные данные из ClickHouse через Spark и развивать историю справочников.
- Настраивать инкрементальную загрузку из 1С и реплик PostgreSQL, а также участвовать во внедрении CDC.
- Разрабатывать витрины и модели данных на dbt и materialized views ClickHouse.
- Настраивать проверки полноты, тесты качества данных, мониторинг свежести и объёма потоков.
- Оркестрировать процессы в Airflow, развивать CI/CD моделей и DAG, поддерживать runbook, участвовать в архитектурных решениях и код-ревью.
Требования
- Опыт в Data Engineering от 4–5 лет.
- Промышленный опыт работы с ClickHouse: MergeTree-движки, materialized views, репликация и оптимизация запросов.
- Уверенное знание SQL и Python, опыт работы с dbt в продакшене, включая модели, тесты и CI.
- Опыт разработки и эксплуатации DAG в Apache Airflow, а также работы со Spark и табличными форматами lakehouse: Iceberg, Delta или Hudi.
- Опыт потоковой загрузки из RabbitMQ или аналогичных брокеров, понимание at-least-once и идемпотентности.
- Понимание medallion-архитектуры, SCD2 и инкрементальной загрузки; знание Docker, Kubernetes и Git на рабочем уровне.
Хорошо, если есть
- Опыт загрузки данных из MS SQL или 1С.
- Знание Debezium и CDC.
- Опыт работы с dlt и OpenMetadata.
- Знакомство с платёжными и персональными данными.
- Опыт работы с on-prem инфраструктурой.
Культура и преимущества
- Удалённый формат работы.
- График 5/2 с двумя вариантами рабочего времени.
- Мощный рабочий ноутбук.
- 100% компенсация больничных.
- Корпоративная скидка на изучение английского языка в Skyeng.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
