ML-разработчик (Alice AI VLM Reasoning)

TL;DR

ML-разработчик (Alice AI VLM Reasoning): Разработка RL и RLHF для мультимодальных VLM, чтобы модель корректно выполняла визуальный reasoning и следовала инструкциям с продуктовым качеством. Фокус на ускорении large-scale обучения, профилировании RL-loop и построении reasoning/OCR пайплайнов, включая борьбу с галлюцинациями и формирование функции награды под требования сервисов Яндекса.

Company

Команда Yandex обучает мультимодальные модели рассуждать над документами, графиками, таблицами и интерфейсами, доводя поведение до продуктового качества через RLHF.

Что делать

• Развивать RL и RLHF для VLM: проектировать методы алайнмента на стыке визуальной и текстовой модальностей, формировать награду за правильный визуальный reasoning и снижать галлюцинации.
• Развивать reasoning и document understanding (OCR): обучать модель разбирать документы, таблицы, графики и интерфейсы, распознавать текст и выполнять многошаговые инструкции.
• Собирать reasoning-данные и экспериментировать с UG-данными и AI-фидбэком для улучшения качества post-training.
• Ускорять large-scale обучение: оптимизировать RL-loop, профилировать узкие места и добиваться кратного роста скорости экспериментов при эффективном использовании GPU.

Требования

• Отличное знание классических ML, NLP и CV.
• Понимание того, как устроены современные LLM или VLM, и опыт решения прикладных задач или релевантный исследовательский опыт.
• Опыт работы с RL или RLHF, post-training или мультимодальным reasoning — либо готовность быстро погрузиться в эти направления.
• Умение следить за трендами в LLM/VLM и быстро отличать рабочие практики от хайпа, чтобы внедрять новые идеи.

Хорошо, если есть

• Опыт с reasoning-задачами, post-training или RLHF/alignment.
• Опыт работы с OCR и document understanding: распознавание текста, структуры документов, таблиц и графиков.
• Опыт обучения больших моделей и large-scale ML-систем.
• Понимание ограничений современных VLM и интерес к трендам в multimodal reasoning.