Analyst Developer (AI)

TL;DR

Analyst Developer (AI): Разработка и оптимизация сервиса разметки достоверности ответов LLM-моделей с акцентом на создание голденсетов, развитие агентов-фактчекеров и управление качеством человеческой разметки. Фокус на построении аналитических пайплайнов, применении математической статистики для проверки гипотез и автоматизации процессов оценки качества.

Компания

Yandex — глобальная технологическая компания, разрабатывающая поиск, умные устройства и передовые AI-сервисы.

Что делать

• Создавать эталоны (голденсеты) и узкие бенчмарки для оценки качества исполнителей и LLM-агентов.
• Валидировать и дорабатывать инструкции по разметке, устраняя противоречия и согласовывая правки с редакторами.
• Развивать основного агента-фактчекера и проектировать новые пайплайны с использованием LLM.
• Управлять качеством разметки, выполняемой людьми (асессорами и редакторами), и проводить их обучение.
• Разрабатывать аналитические системы рейтинга исполнителей и методы оценки сложности заданий.

Требования

• Уверенное владение Python и знание алгоритмов.
• Знание математической статистики и опыт проверки гипотез с её помощью.
• Умение работать с данными и принимать решения на их основе.

Хорошо, если есть

• Опыт работы с SQL и табличными данными.
• Опыт работы с крауд-проектами (например, разметка в Толоке).
• Знание основ машинного обучения (ML).
• Навыки четкого изложения мыслей и умение аргументированно убеждать коллег.