pythonsqlkubernetesdockers3mlopsairflowsparkpysparkdelta lake
RUВакансия из Hirify RU, списка российских tech-компаний
Пожаловаться
Зарплата и рынок
развернуть
По рынку СНГ данных пока нет
На международном рынке: $226к/год ($150к - $245к)
82
Хорошая вакансия
развернуть
Крепкая корпоративная роль с уклоном в инфраструктуру ML. Современный стек и отличная поддержка обучения делают её привлекательной, хотя зарплату придётся обсуждать с нуля.
?Зарплата не указана
Современный стек
Поддержка обучения
Понятный скоуп
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Главный разработчик ML/MLOps (Spark/Kubernetes/Airflow): Развитие ML-платформы прогнозирования спроса для федеральной розничной сети с обработкой терабайтов и петабайтных объемов данных с акцентом на промышленную интеграцию ML-алгоритмов, масштабирование расчетов и надежность платформы. Focus on развитие MLOps-фреймворка, оркестрацию пайплайнов, мониторинг, Data Quality, lineage, управление данными в S3 и Delta Lake, а также внедрение новых технологий.
Локация: Москва и Краснодар — гибридный или офисный формат; другие города России — удаленно. Также упомянуты офисы в Санкт-Петербурге и Иннополисе.
Компания
MagnitTech развивает ML-платформу прогнозирования спроса для федеральной розничной сети.
Что делать
Интегрировать новые ML-алгоритмы и изменения от Data Science в промышленный контур прогнозирования.
Развивать MLOps-фреймворк, процессы разработки, тестирования и поставки изменений между DEV, UAT и PROD.
Развивать расчетные пайплайны и оркестрацию в Apache Airflow.
Оптимизировать и масштабировать Spark-расчеты на терабайтных объемах данных и Kubernetes-инфраструктуру под Spark-приложения.
Развивать мониторинг, логирование, Data Quality, lineage и инструменты диагностики расчетов.
Развивать CI/CD, управление жизненным циклом данных в S3 и Delta Lake, а также внутренние инструменты ML-платформы и технические PoC.
Требования
Уверенное знание Python и опыт промышленной разработки.
Практический опыт работы с Apache Spark/PySpark и разработки пайплайнов в Apache Airflow.
Опыт работы с Kubernetes, Docker и S3 или другими объектными хранилищами.
Уверенное знание SQL и опыт работы с большими объемами данных.
Понимание CI/CD, процессов поставки изменений, мониторинга, отказоустойчивости и эксплуатации production-систем.
Для офисного или гибридного формата требуется находиться в Москве или Краснодаре; из других городов России доступна удаленная работа.
Хорошо, если есть
Опыт работы с Delta Lake или другими lakehouse-технологиями.
Опыт MLOps или эксплуатации промышленных ML-систем.
Опыт оптимизации и масштабирования Spark-приложений.
Опыт работы с Data Quality, metadata, lineage и облачной инфраструктурой.
Культура и преимущества
Оформление в аккредитованную ИТ-компанию и индивидуальное обсуждение заработной платы.
ДМС со стоматологией и льготными условиями для членов семьи.
Техника для работы и график 5/2.
Оплата обучения на курсах и участия в конференциях.
Возможность участвовать и выступать на митапах и хакатонах.
Корпоративная библиотека курсов, скидки PRIMEZONE и программы лояльности.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →