Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер данных (Data Lake): Разработка и развитие платформ batch- и CDC-инжеста данных во внутреннее Data Lake с акцентом на Python, Airflow, Spark и интеграции с распределенными системами. Focus on проектировании API для подключения источников, обеспечении надежности загрузок, оптимизации производительности и восстановлении потоков после сбоев.
Локация: Москва и Краснодар — гибридный или офисный формат; другие города — удаленно.
Компания
MagnitTech развивает внутреннюю Data-платформу и современное хранилище данных Data Lake для розничной компании Магнит.
Что делать
- Разрабатывать и развивать платформы batch- и CDC-инжеста данных в Data Lake.
- Проектировать платформенные компоненты и API для подключения источников, настраивать загрузки и управлять жизненным циклом данных.
- Развивать интеграции с Iceberg, Spark, Trino, Impala, Kafka, Kafka Connect и Debezium.
- Создавать механизмы контроля качества и полноты данных, обработки ошибок, повторных запусков и восстановления загрузок.
- Анализировать и оптимизировать производительность, масштабируемость и потребление ресурсов платформы.
- Участвовать в сопровождении потоков при сложных инцидентах.
Требования
- 2–3 года коммерческой разработки на Python; поддерживаемый и тестируемый код.
- Уверенное знание SQL, принципов моделирования и хранения данных.
- Понимание особенностей распределённых вычислений, архитектуры и эксплуатации распределённых систем.
- Опыт работы с Apache Airflow и Apache Spark.
Культура и преимущества
- Трудоустройство в аккредитованную IT-компанию.
- ДМС со стоматологией и льготными условиями для членов семьи.
- Возможность работать удалённо, гибридно или в офисе в зависимости от города.
- Обучение, участие в конференциях и митапах, а также программа Leadership Club.
- IT-комьюнити для обмена практиками, поиска решений и профессионального роста.
- Социально-психологическая поддержка специалистов по юридическим, психологическим, медицинским, финансовым и lifestyle-направлениям.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →