Руководитель аналитики качества обогащения и ответов на срезах в команду Alice AI

Локация: гибридный формат работы

Компания

Яндекс развивает Алису — AI‑ассистента, ответы которого включают текстовые и мультимодальные обогащения: изображения, видео, карточки товаров и геообъектов, внешние ссылки и рекламу.

Что делать

• Руководить проектом оценки качества обогащений в ответах Alice AI.
• Придумывать и запускать новые фичи совместно с продуктовой и ML‑командами.
• Ставить задачи AI‑тренерам и автоматическим оценщикам, разрабатывать инструкции и собирать голден‑сеты.
• Определять метрики качества и критерии успеха, анализировать эксперименты и качество ответов моделей.
• Создавать LLM‑as‑a‑Judge агентов для обучения моделей и оценки экспериментов.
• Управлять пайплайнами разметки и подготовки данных, контролировать скорость, стоимость, качество и производительность оценки.

Требования

• Опыт управления командой аналитиков не менее 2 лет.
• От 3 лет опыта работы.
• Умение работать с данными и извлекать из них практические выводы.
• Знание математической статистики и теории вероятностей.
• Надёжное программирование на Python и знание алгоритмов.
• Интерес к развитию LLM и готовность глубоко погружаться в тему.

Культура и преимущества

• Гибридный формат работы.
• Работа над качеством ответов одного из самых популярных AI‑ассистентов в России.
• Возможность влиять на развитие моделей Alice AI через метрики и инструменты оценки.