Аналитик качества продуктовых агентских сценариев (LLM)

Локация: Москва; доступны удалённый, офисный и гибридный форматы работы.

Компания

Yandex развивает Alice AI LLM — базовую технологию для продуктов экосистемы Яндекса, включая чат с Алисой.

Что делать

• Создавать продуктовые бенчмарки и формулировать стабильные метрики для сравнения моделей в реальных агентских сценариях.
• Разрабатывать на Python виртуальные среды, интегрирующие API Маркета, Еды и других сервисов.
• Формулировать задания и собирать эталонные траектории действий для обучения моделей с подкреплением.
• Управлять пайплайнами сбора данных с использованием внутренних редакторов, краудсорсинга и автоматической разметки LLM-as-a-judge.
• Анализировать логи и данные моделей, находить узкие места и адаптировать бенчмарки для повышения качества.

Требования

• От 3 лет опыта.
• Отличное знание Python и умение писать сложный чистый код.
• Уверенное владение SQL и навыки анализа сложных структур данных.
• Знание теории вероятностей и математической статистики.
• Понимание принципов работы агентских систем или опыт их построения.
• Интерес к развитию LLM и готовность самостоятельно решать задачи без готовых решений.

Хорошо, если есть

• Опыт взаимодействия в кросс-сервисных командах.
• Понимание Reinforcement Learning в контексте языковых моделей.
• Опыт работы с метриками в NLP или построения синтетических пайплайнов генерации данных.
• Свободное чтение на английском языке.

Культура и преимущества

• Работа над задачами оценки агентских способностей, для которых ещё формируются общепринятые подходы.
• Возможность работать с опытными ML-специалистами над быстро развивающимся проектом Alice AI.
• Доступ к современным моделям Яндекса и мощным GPU-кластерам.
• Собранные данные и разработанные бенчмарки напрямую используются для обучения базовой модели, включая RL.
• Результаты работы влияют на взаимодействие миллионов пользователей с сервисами Яндекса.