Аналитик-разработчик по оценке качества LLM в Яндекс R&D (LLM)

Локация: Москва, офис

Компания

Yandex развивает Alice AI и ключевую LLM-технологию компании, которой ежедневно пользуются миллионы людей.

Что делать

• Организовывать приёмки новых версий LLM: готовить оценочные наборы, ставить задачи по аспектам качества и запускать пайплайны оценки.
• Контролировать прохождение разметки через несколько команд и пулов, выявлять сбои и устранять проблемы с недоставленными или потерянными данными.
• Собирать и анализировать результаты оценки, считать значимость, отделять реальные изменения от шума и объяснять расхождения между аспектами, людьми и автоматическими оценщиками.
• Готовить заключения по релизам с разбором сценариев и примерами, а также еженедельные сводки для ML-команд и продукта.
• Развивать автоматизацию приёмки: формулировать требования, тестировать инструменты и передавать автоматизированные задачи в процесс.
• Взаимодействовать с ML-инженерами качества, доменными экспертами, командой краудсорса и соседними командами.

Требования

• От 3 лет опыта.
• Уверенная работа с Python и SQL.
• Знание математической статистики и теории вероятностей.
• Умение доводить до конца многошаговые процессы с внешними зависимостями: пайплайны, пулы разметки и сроки соседних команд.
• Умение формулировать обоснованные выводы по данным и защищать их перед заказчиками.
• Интерес к развитию LLM и готовность глубоко погружаться в тему.

Хорошо, если есть

• Опыт оценки качества LLM с использованием голден-сетов, LLM-as-a-Judge и контроля разметки.
• Опыт работы на стыке офлайн-оценки и онлайн-экспериментов.
• Опыт оценки агентских сценариев и мультимодальных моделей.
• Практика применения NLP, краудсорсинговой разметки и ML.

Культура и преимущества

• Работа в офисе в Москве.
• Приёмки моделей проходят несколько раз в неделю и связаны с регулярными релизами.
• Роль сочетает аналитику, методологию и развитие инструментов автоматизации.