Аналитик-разработчик в команду оценки достоверности Алисы AI

Локация: гибридный формат работы в офисе

Компания

Разработка сервисов на базе AI и LLM-моделей, включая инструменты оценки достоверности ответов Алисы.

Что делать

• Разрабатывать сервис разметки достоверности ответов LLM-моделей и контролировать качество его результатов.
• Собирать голденсеты и узкие бенчмарки, валидировать инструкции и размечать ответы для новых направлений.
• Развивать агента-фактчекера и создавать дополнительные LLM-пайплайны для подготовки разметки и голденсетов.
• Выстраивать работу с асессорами и редакторами: готовить подсказки, оценивать комментарии, находить проблемы и улучшать обучение исполнителей.
• Разрабатывать аналитические подходы к оценке сложности заданий, рейтингованию исполнителей и подбору групп исполнителей.

Требования

• От 3 лет опыта.
• Интерес к работе с данными и понимание важности принятия решений на их основе.
• Уверенное владение Python и знание алгоритмов.
• Знание математической статистики и опыт проверки гипотез.

Хорошо, если есть

• Интерес к развитию продукта и понимание пользовательских и продуктовых задач.
• Навыки ясной коммуникации, аргументации и взаимодействия с коллегами.
• Опыт работы с табличными данными на SQL.
• Опыт участия в крауд-проектах или разметке данных, например в Толоке.
• Знание основ машинного обучения.

Культура и преимущества

• Работа над сервисом оценки качества и достоверности ответов AI-моделей.
• Возможность развивать агентов-фактчекеров и LLM-пайплайны.
• Гибридный формат работы в офисе.