Аналитик-разработчик в команду этики и безопасности Alice AI

Локация: Москва, офисный или гибридный формат

Компания

Yandex развивает Alice AI — большую языковую модель для решения повседневных задач и повышения качества, достоверности и безопасности ответов.

Что делать

• Исследовать большие объёмы логов Alice AI, находить сложные и потенциально проблемные сценарии.
• Формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming.
• Разрабатывать критерии, рубрики и автоматизированные evaluation-пайплайны на основе LLM-as-a-Judge, промптинга и агентских подходов.
• Валидировать автоматические оценки на человеческой разметке и исследовать устойчивость, согласованность, смещения, precision и recall джаджей.
• Собирать и проверять обучающие выборки для SFT и RL, анализировать ошибки моделей.
• Проводить финальную оценку релиз-кандидатов, анализировать регрессии и статистическую значимость изменений.

Требования

• От 3 лет опыта.
• Уверенное владение Python и SQL.
• Самостоятельная работа с данными, исследование логов и формулирование гипотез.
• Знание математической статистики и теории вероятностей, умение корректно проводить эксперименты и интерпретировать результаты.
• Умение ясно излагать мысли, обсуждать решения и аргументированно отстаивать позицию.

Хорошо, если есть

• Опыт работы с ML-моделями и понимание этапов их обучения и оценки.
• Опыт создания LLM-джаджей, автоматизированных evaluation-пайплайнов или проведения red teaming.
• Знание SFT, RLHF/RLAIF и современных подходов к LLM evaluation.
• Понимание типовых сценариев использования и уязвимостей генеративных моделей.

Культура и преимущества

• Работа в команде, отвечающей за безопасность и ответственное поведение LLM.
• Участие в общем цикле развития моделей Alice AI — от подготовки данных до финальной приёмки релизов.
• Сотрудничество с отдельной ML-командой, которая непосредственно обучает модели.