Руководитель аналитики приёмки моделей в команду Alice AI (LLM)

Локация: гибридный формат, удалённая работа или офис.

Компания

Yandex развивает ассистента Алису и ключевую LLM-технологию, повышая качество, полезность и надёжность моделей.

Что делать

• Полностью вести приёмку новых версий моделей: определять необходимые замеры, запускать оценки, объединять результаты и готовить заключения о качестве.
• Развивать систему метрик, объединять независимые оценки, рассчитывать статистическую значимость и отделять реальные изменения от случайного шума.
• Формировать оценочные наборы, контролировать покрытие сценариев, управлять версиями данных и обеспечивать воспроизводимость замеров.
• Развивать инструменты оценки, включая автоматических оценщиков на базе LLM и гибридные методы.
• Сравнивать новые модели с текущей продовой версией и сопоставлять офлайн-оценки с онлайн-метриками поведения пользователей.
• Собрать и управлять командой аналитиков приёмки, распределять направления, наставлять специалистов и согласовывать единый процесс между командами.

Требования

• От 3 лет опыта.
• Опыт управления командой аналитиков не менее 2 лет.
• Знание математической статистики и теории вероятностей.
• Умение писать код на Python и знание алгоритмов.
• Умение формулировать и защищать обоснованные заключения перед заказчиками в условиях неполных данных.
• Интерес к развитию LLM и готовность глубоко погружаться в тему.

Хорошо, если есть

• Опыт работы с NLP, краудсорсинговыми разметками и ML.
• Опыт построения процессов оценки качества LLM, включая голденсеты, LLM-as-a-judge и контроль качества разметчиков.
• Опыт оценки агентских сценариев и мультимодальных моделей.
• Опыт работы на стыке офлайн-оценки и онлайн-экспериментов.