Лид аналитики в Агентский Поиск (AI)

Локация: гибридный офис

Компания

Yandex развивает Поиск с Алисой, Картинки, Видео и Yandex Search API, используя метрики, языковые модели и ML для повышения качества поиска и ответов.

Что делать

• Развивать систему оценки качества Агентского Поиска, проверять метрики на экспертных бенчмарках и организовывать регулярную оценку качества в продакшене.
• Анализировать сложные запросы и цепочки поисковых действий AI-агента, находить причины потерь информации и предлагать эксперименты.
• Исследовать методы отбора документов и ранжирования для AI-агентов, создавать прототипы и доводить перспективные решения до релиза.
• Оценивать фрагменты документов для языковой модели, сохраняя нужные факты, сокращая объём текста и предотвращая искажение смысла.
• Сравнивать Yandex Search API с другими поисковыми API по открытым бенчмаркам и сценариям команды, формулировать проверяемые гипотезы и оценивать улучшения для внешних AI-продуктов.
• Работать совместно с ML-инженерами и разработчиками над приоритизацией исследований и внедрением подтверждённых улучшений.

Требования

• Самостоятельный опыт выстраивания оценки качества ML-системы или продукта.
• Уверенное владение Python для проведения экспериментов, обработки результатов и обеспечения воспроизводимости расчётов.
• Владение SQL для получения и анализа данных.
• Знание теории вероятностей и математической статистики.
• Умение планировать эксперименты, оценивать неопределённость результатов и интерпретировать A/B-тесты.
• Понимание основ оценки ML-моделей: разделение данных, утечки и различия между улучшением на тестовой выборке и результатом в продукте.
• Умение самостоятельно разбираться в задачах без готовой постановки, формулировать проверяемые гипотезы, выбирать метрики и реализовывать проверку.
• Умение объяснять команде выводы и ограничения исследования, предлагать следующие шаги и доводить работу до решения.

Хорошо, если есть

• Опыт работы с информационным поиском, ранжированием, семантическим поиском или RAG-системами.
• Опыт создания бенчмарков и разметки, анализа действий AI-агентов или использования языковых моделей для оценки качества с проверкой по человеческим оценкам.
• Опыт работы с большими данными и превращения исследовательских прототипов в регулярно используемые командой инструменты.
• Знакомство с агентными бенчмарками BrowseComp или NEEDLE, а также с оценкой полноты и достоверности контекста.

Культура и преимущества

• Гибридный формат работы в офисе.
• Работа в небольшой команде аналитиков-разработчиков на стыке анализа данных, поисковых технологий и языковых моделей.
• Совместная работа с ML-командами и разработчиками над улучшениями, которые внедряются в продукт.