Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Senior Data Engineer (AI): Развитие собственной Data Platform и lakehouse на Apache Iceberg, Trino и Spark с акцентом на Python-библиотеки, платформенные фреймворки и интеграции с источниками данных. Focus on оптимизация Trino и Iceberg, проектирование API, создание AI-агентов и автоматизацию инженерных процессов.
Локация: Москва; удалённый формат работы
Компания
Международный маркетплейс подарков с собственной Data Platform, построенной с нуля на lakehouse-стеке и AI-инструментах.
Что делать
- Развивать фреймворк Data Vault, обвязку Apache Airflow и инструменты lineage и наблюдаемости данных.
- Проектировать API и писать переиспользуемые Python-библиотеки, фреймворки, клиенты к источникам и инструменты тестирования пайплайнов.
- Работать с Apache Iceberg, Trino и Spark: оптимизировать запросы и layout таблиц, выполнять maintenance и разрабатывать тяжёлые трансформации.
- Строить интеграции с OLTP-базами, REST/gRPC API, Kafka, файловыми хранилищами и SaaS-системами.
- Развивать AI-агентов на LangGraph и MCP для расследования инцидентов, анализа качества данных, генерации DAG'ов и code review.
- Участвовать в архитектурных решениях, проводить code review и менторить менее опытных коллег.
Требования
- От 5 лет промышленного опыта в data engineering или backend-разработке с сильным уклоном в данные.
- Продвинутый Python: ООП, проектирование API библиотек, типизация, тестирование и создание переиспользуемых компонентов.
- Практический опыт с Apache Iceberg или Delta/Hudi, lakehouse-архитектурой, snapshots, компакцией и schema evolution.
- Опыт работы с Trino или другим MPP-движком, Apache Airflow, Apache Spark/PySpark и продвинутым SQL.
- Уверенное владение Git и CI/CD.
Хорошо, если есть
- Опыт разработки внутренних платформенных инструментов и фреймворков.
- AI-native подход, использование Claude Code, Codex или аналогичных инструментов, а также опыт построения harness-систем, RAG и LLM-автоматизации.
- Опыт с Kubernetes, Helm, CDC, Debezium, Kafka Connect и потоковыми пайплайнами.
- Знание формата Parquet и систем контроля доступа к данным.
Культура и преимущества
- Полная занятость, трудовой договор, график 5/2 и удалённый формат работы.
- ДМС со стоматологией или компенсация медицинских расходов и психологическая поддержка.
- Компенсация занятий спортом, спортивного оборудования и техники для работы.
- Оплата обучения, конференций и профессиональных митапов.
- Культура взаимопомощи, развития, открытости к изменениям и социальной ответственности.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
