Назад
2 дня назад

Senior Data Engineer (AI)

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
senior
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Senior Data Engineer (AI): Развитие собственной Data Platform и lakehouse на Apache Iceberg, Trino и Spark с акцентом на платформенную разработку, Python-фреймворки и интеграцию AI-агентов. Focus on оптимизацию Trino и Iceberg, построение CDC-пайплайнов, проектирование API, инструментов наблюдаемости и автоматизации инженерных процессов.

Локация: Москва, удалённо

Компания

Flowwow — международный маркетплейс подарков с собственной Data Platform, построенной от storage-слоя до AI-агентов поверх данных.

Что делать

  • Развивать фреймворк Data Vault, обвязку Apache Airflow, lineage- и инструменты наблюдаемости данных.
  • Проектировать API и писать переиспользуемые библиотеки, фреймворки и сервисы на Python.
  • Работать с lakehouse на Apache Iceberg, Trino и Spark: выполнять maintenance таблиц, оптимизировать layout и запросы.
  • Строить интеграции с OLTP-базами, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
  • Развивать AI-агентов на LangGraph и MCP для расследования инцидентов, анализа качества данных, создания DAG'ов и code review.
  • Участвовать в архитектурных решениях, проводить code review и менторить менее опытных коллег.

Требования

  • От 5 лет промышленного опыта в data engineering или backend-разработке с сильным дата-уклоном.
  • Senior-уровень Python: ООП, проектирование API библиотек, типизация, тестирование и создание переиспользуемых компонентов.
  • Практический опыт с Apache Iceberg либо Delta/Hudi, включая snapshots, компакцию и schema evolution.
  • Опыт работы с Trino или другим MPP-движком, Apache Airflow, Apache Spark/PySpark и продвинутым SQL.
  • Уверенное владение Git и CI/CD.

Хорошо, если есть

  • Опыт создания внутренних платформенных инструментов и фреймворков для других команд.
  • AI-native подход, использование Claude Code, Codex или аналогичных инструментов, создание harness-систем, RAG и LLM-автоматизации.
  • Kubernetes, Helm, CDC на Debezium и Kafka Connect, а также стриминговые пайплайны.
  • Знание Parquet, систем контроля доступа к данным, OPA, row-level security и маскирования.

Культура и преимущества

  • Инженерная команда с фокусом на разработку библиотек, фреймворков и платформенных сервисов, а не на ручное выполнение ETL-задач.
  • AI-native инструменты используются в ежедневной разработке.
  • Работа с собственной Data Platform и глубокой внутренней реализацией lakehouse-стека.
  • Удалённый формат работы.

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →