Аналитик-разработчик в команду качества генеративных моделей (AI)

Компания

Yandex развивает Алису AI — систему генеративных моделей на основе LLM, использующую поиск и обогащения ответа для формирования ответов пользователям.

Что делать

• Развивать метрики качества моделей на экспертных срезах и помогать улучшать продукт.
• Работать с практикующими специалистами, формализовать их знания и превращать их в разметку и критерии оценки моделей.
• Анализировать ответы моделей на сложные специализированные темы и определять критерии их точности и полезности.
• Создавать процессы и инструменты, снижающие рутинную нагрузку на экспертов и ускоряющие разметку данных.
• Разбираться в инфраструктуре, предлагать улучшения и запускать новые пайплайны.

Требования

• От 5 лет опыта.
• Уверенная работа с Python и SQL.
• Знание математической статистики и теории вероятностей.
• Умение формализовать и структурировать требования и ожидания заказчиков.
• Самостоятельность, аргументированная коммуникация и готовность решать задачи без готовых решений.

Хорошо, если есть

• Опыт написания инструкций и самостоятельного запуска проектов разметки данных.
• Опыт работы с машинным обучением и нейронными сетями.
• Навыки создания точных и эффективных промптов для генеративных нейросетей.

Культура и преимущества

• Работа над продуктом Алиса AI с фокусом на результате в продакшене.
• Возможность развивать технические, коммуникативные и менеджерские навыки.
• Взаимодействие с практикующими врачами, юристами и другими предметными экспертами.
• Совместная работа с аналитиками и ML-инженерами качества Поиска.
• Участие в краудсорс-проектах, сложных по масштабу и архитектуре.