ML Engineer (VLM Agents)

TL;DR

ML Engineer (VLM Agents): Разработка и обучение мультимодальных агентских систем для автоматизации визуальных задач с акцентом на tool calling, планирование действий и устойчивость моделей. Фокус на создании надежных агентских сред для обучения и внедрении решений в продукты Яндекса.

Компания

Яндекс — ведущая технологическая компания, развивающая экосистему сервисов на базе передовых ML-технологий.

Что делать

• Обучать модели вызывать внешние инструменты (tool calling) для выполнения прикладных задач.
• Развивать механизмы агентского планирования и многошагового взаимодействия VLM.
• Проектировать и поддерживать агентские среды, симуляторы и бенчмарки для обучения и оценки.
• Формулировать гипотезы, проводить эксперименты и внедрять решения в продакшн.
• Обеспечивать надежность и предсказуемость поведения агентов в реальных сценариях.

Требования

• Глубокие знания ML и уверенная работа с современными LLM или VLM.
• Практический опыт в CV, NLP или мультимодальном обучении.
• Понимание принципов Reinforcement Learning и областей их применения.
• Опыт или глубокий интерес к построению агентов и систем tool calling.
• Навыки постановки экспериментов и анализа результатов.
• Свободное владение русским языком.

Хорошо, если есть

• Опыт работы с агентами, автономными пайплайнами или RL в интерактивных средах.
• Опыт обучения больших моделей или крупномасштабных ML-систем.
• Понимание ограничений современных VLM и знание актуальных трендов в области агентов.