Аналитик-разработчик в команду ранжирования ответов Алисы (AI)

Компания

Yandex развивает поиск, ответы Алисы и Yandex Search API для внешних заказчиков.

Что делать

• Придумывать и проверять способы улучшения ранжирования ответов Алисы.
• Проектировать эксперименты: подбирать промпты, создавать бенчмарки и измерять качество.
• Подбирать и тестировать сигналы для новой ранжирующей функции.
• Развивать метрики качества инфоконтекстов и Yandex Search API.
• Проводить A/B-тесты, анализировать результаты и принимать решения о развитии ранжирования.
• Доводить решения end-to-end — от гипотезы и реализации до оценки и выкатки в продакшен.

Требования

• От 3 лет опыта.
• Знание теории вероятностей и математической статистики.
• Умение формулировать и проверять гипотезы, интерпретировать результаты A/B-тестов и бенчмарков.
• Уверенная работа с Python или SQL для анализа данных и расчётов.
• Способность решать нестандартные задачи и превращать гипотезы в работающие эксперименты.
• Интерес к ML и генеративным моделям, понимание базовых принципов современных ML-систем.

Хорошо, если есть

• Опыт работы с большими объёмами данных.

Культура и преимущества

• Работа над качеством ответов Алисы, которые пользователи получают в поиске.
• Развитие B2B-продукта Yandex Search API.
• Полный цикл работы с гипотезами: от идеи и эксперимента до реализации и продакшена.