ML-разработчик в команду претрейна VLA для гуманоидных роботов

Локация: Москва, офисный и гибридный формат работы

Компания

Yandex развивает Vision-Language-Action-модели для управления гуманоидными роботами и выполнения манипуляционных задач по текстовым инструкциям.

Что делать

• Разрабатывать и обучать VLA-модели, экспериментировать с архитектурами, представлениями наблюдений и действий, функциями потерь и объединением модальностей.
• Формировать смеси робототехнических и мультимодальных датасетов, настраивать семплирование и улучшать обучающие выборки.
• Создавать пайплайны контроля качества данных: находить рассинхронизацию, пропуски, зависания кадров и аномалии в траекториях.
• Масштабировать распределённое обучение на нескольких GPU и узлах, профилировать вычисления, коммуникации и загрузку данных.
• Проводить исследовательские эксперименты, абляции и воспроизведение подходов из научных статей.
• Проверять модели на реальных роботах, анализировать ошибки и доводить успешные решения до основных обучающих запусков.

Требования

• От 3 лет опыта разработки и обучения трансформерных или генеративных моделей в мультимодальном обучении, Computer Vision, NLP, генерации видео или Robot Learning.
• Глубокое понимание обучения нейронных сетей, трансформеров, методов оптимизации и причин нестабильного обучения.
• Уверенное программирование на Python и опыт работы с PyTorch или JAX.
• Опыт распределённого обучения с FSDP, DeepSpeed или аналогичными инструментами, включая параллелизм данных и шардинг.
• Опыт работы с большими датасетами, пайплайнами подготовки данных, метриками и воспроизводимыми экспериментами.

Хорошо, если есть

• Опыт работы с VLA, Imitation Learning, Behavior Cloning или политиками для разных робототехнических платформ.
• Опыт обучения диффузионных и flow-matching-моделей, а также генеративных моделей изображений и видео.
• Опыт оптимизации многоузлового обучения, mixed precision, activation checkpointing и восстановления состояния обучения.
• Опыт разработки инструментов визуализации, поиска аномалий и внедрения политик на реальных роботах.
• Исследовательские публикации, участие в open-source-проектах или собственные проекты с воспроизводимыми результатами.

Культура и преимущества

• Работа в команде претрейна VLA-моделей и совместная работа с инфраструктурной командой и специалистами по робототехнике.
• Доступ к задачам, связанным с данными разных робототехнических платформ и реальными роботами.
• Возможность развивать исследовательские методы и внедрять их в основные обучающие процессы.