Senior Data Engineer (Streaming)

Data инженер Senior

Длительность проекта: до 31.07.2026 (с пролонгацией)
Ставка: 1900, с НДС
Полная занятость
Локация: любая

Обязательные требования
- Опыт работы со стриминговыми решениями или серьёзное стремление перейти в стриминг;
- Технические навыки (один или несколько): Spark, Flink, ClickHouse, Kafka (преимущественно - Flink);
- Понимание форматов и концепций data lake (Iceberg, Parquet/ORC, снапшоты, инкременты);
- Практический опыт хотя бы одной реализации/пробы: Kafka → обработка → S3/Iceberg (даже локально/в тестовом проекте);
- Умение мыслить потоками данных: от события до витрины, а не только «запросами»;
- Софт‑скиллы: системное мышление, инициативность, готовность обсуждать архитектуру и учиться новым паттернам.

Дополнительные требования
- Опыт работы с дашбордами/витринами через Trino/SQL/dbt будет плюсом.

Задачи на проекте
- Проектирование, разработка и сопровождение стриминговых пайплайнов;
- Реализация бизнес‑логики и трансформаций во Flink/Spark/Java в режиме стрима;
- Инкрементальная загрузка и выкладка витрин (dbt/Trino/Iceberg);
- Проектирование хранения и партиционирования в data lake (колоночные форматы, снапшоты, Iceberg);
- Построение надёжных схем доставки данных: семантики доставки, идемпотентность, обработка дупликатов;
- Документирование архитектуры пайплайнов и участие в принятии архитектурных решений по платформе.

Этапы отбора
2 этапа: 1 ТИ и интервью с ПО

Описание проекта и команды
Крупная ритейл компания.