2 дня назад
Senior Data Engineer (AI)
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Senior Data Engineer (AI): Развитие собственной Data Platform и lakehouse на Apache Iceberg, Trino и Spark с акцентом на платформенную разработку, Python-фреймворки и интеграцию AI-агентов. Focus on оптимизацию Trino и Iceberg, построение CDC-пайплайнов, проектирование API, инструментов наблюдаемости и автоматизации инженерных процессов.
Локация: Москва, удалённо
Компания
Flowwow — международный маркетплейс подарков с собственной Data Platform, построенной от storage-слоя до AI-агентов поверх данных.
Что делать
- Развивать фреймворк Data Vault, обвязку Apache Airflow, lineage- и инструменты наблюдаемости данных.
- Проектировать API и писать переиспользуемые библиотеки, фреймворки и сервисы на Python.
- Работать с lakehouse на Apache Iceberg, Trino и Spark: выполнять maintenance таблиц, оптимизировать layout и запросы.
- Строить интеграции с OLTP-базами, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
- Развивать AI-агентов на LangGraph и MCP для расследования инцидентов, анализа качества данных, создания DAG'ов и code review.
- Участвовать в архитектурных решениях, проводить code review и менторить менее опытных коллег.
Требования
- От 5 лет промышленного опыта в data engineering или backend-разработке с сильным дата-уклоном.
- Senior-уровень Python: ООП, проектирование API библиотек, типизация, тестирование и создание переиспользуемых компонентов.
- Практический опыт с Apache Iceberg либо Delta/Hudi, включая snapshots, компакцию и schema evolution.
- Опыт работы с Trino или другим MPP-движком, Apache Airflow, Apache Spark/PySpark и продвинутым SQL.
- Уверенное владение Git и CI/CD.
Хорошо, если есть
- Опыт создания внутренних платформенных инструментов и фреймворков для других команд.
- AI-native подход, использование Claude Code, Codex или аналогичных инструментов, создание harness-систем, RAG и LLM-автоматизации.
- Kubernetes, Helm, CDC на Debezium и Kafka Connect, а также стриминговые пайплайны.
- Знание Parquet, систем контроля доступа к данным, OPA, row-level security и маскирования.
Культура и преимущества
- Инженерная команда с фокусом на разработку библиотек, фреймворков и платформенных сервисов, а не на ручное выполнение ETL-задач.
- AI-native инструменты используются в ежедневной разработке.
- Работа с собственной Data Platform и глубокой внутренней реализацией lakehouse-стека.
- Удалённый формат работы.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Похожие вакансии
14 минут назад
Data Engineer (Python/SQL/AWS/Iceberg)
Снэп АйТи
4 дня назад
Python-разработчик (AI)
230 000 - 245 000₽
1 день назад
Backend Software Engineer (AI)
8 часов назад
Senior Data Engineer with GCP
NDA
3 дня назад
Team Lead (AI Search Technologies)
Фалькон Тех
3 дня назад
Senior Backend разработчик (Rust/C++)
300 000₽