Senior Data Engineer (SaaS)

Senior Data Engineer — строить дата-платформу с нуля.
Удалёнка / Москва | до 450.000₽ net | YCLIENTS (B2B SaaS)
писать: Показать контакты

Сейчас: реплика БД + ClickHouse как «песочница».
Нужно: построить лейкхаус с нуля — от источников до витрин.

Что сделаешь первым:
→ Подключишь OLTP/API → настроишь инкременты в Iceberg (S3)
→ Проведёшь PoC CDC через Debezium + Kafka → лейкхаус
→ Запустишь трансформации Bronze → Silver → Gold
→ Определишь стратегию, например: Trino для ad-hoc, ClickHouse для BI
→ Настроишь мониторинг свежести данных + автоматизируешь бэкфиллы в Airflow

Почему мы?
→ Зелёное поле — не мигрируем с легаси, а строим с нуля
→ Архитектурная свобода — ты выбираешь паттерны и инструменты
→ Высокая ответственность — данные для 50к+ бизнесов в сфере услуг
→ Скорость — первые витрины за 6–8 недель, не «год на проектирование»

Что важно:
→ Сильный SQL + опыт инкрементов и витрин
→ Python для интеграций (не только скрипты)
→ Airflow в проде (зависимости, ретраи, бэкфиллы)
→ Понимание лейкхауса: снепшоты, эволюция схемы, слоистость
Будет плюсом: опыт с Debezium/CDC, Trino, глубокая оптимизация ClickHouse

Стек не догма — если строил лейкхаус на Delta/Hudi и понимаешь принципы — быстро освоишь Iceberg.
Главное — архитектурное мышление.