Руководитель команды метрик качества Поиска и Алисы (AI)

Локация: удалённая работа, офис или гибридный формат.

Компания

Yandex развивает Поиск, Алису и другие сервисы, используя аналитику, машинное обучение и пользовательские метрики.

Что делать

• Руководить командой аналитиков, создающей метрики качества Поиска и Алисы.
• Разрабатывать универсальную метрику приёмки экспериментов, учитывающую задачи и намерения пользователей.
• Искать закономерности, влияющие на восприятие качества ответов моделей и их подачи.
• Создавать систему знаний о поведении пользователей: находить гипотезы в данных, проверять их экспериментами и преобразовывать в требования к моделям.
• Исследовать расхождения между офлайн- и онлайн-метриками, отслеживая влияние фич моделей на пользовательские паттерны и поток запросов.
• Применять машинное обучение и LLM, включая LLM-агентов, для автоматизации аналитики.

Требования

• Опыт руководства командой аналитиков.
• Программирование на Python.
• Знание основ теории вероятностей и математической статистики.
• Умение решать нестандартные математические задачи.
• Умение читать и понимать профильные тексты на английском языке.
• Способность аргументированно отстаивать свою точку зрения и воспринимать чужие аргументы.

Хорошо, если есть

• Опыт применения машинного обучения.
• Победы или призовые места на международных или всероссийских олимпиадах по математике.

Культура и преимущества

• Работа над метриками, влияющими на развитие Поиска и Алисы.
• Собственные исследовательские задачи и возможность формулировать и проверять гипотезы.
• Современные ИИ-инструменты, включая LLM-агентов, для автоматизации рутинной аналитики.
• Возможность работать удалённо, из офиса или в гибридном формате.