ML-аналитик / аналитик качества ИИ-помощника

Локация: Москва, Россия; гибридный формат работы, офис рядом с м. Кутузовская.

Зарплата: от 500 000 ₽ в месяц на руки.

Компания

Сбер развивает ИИ-помощника, который отвечает на вопросы, использует инструменты и выполняет пользовательские задачи.

Что делать

• Исследовать, как ИИ-помощник справляется с реальными пользовательскими задачами, и находить причины ошибок.
• Создавать eval-наборы и бенчмарки для проверки моделей, промптов, навыков и работы с инструментами.
• Развивать SBS и LLM-as-judge, сопоставляя автоматическую оценку с человеческой разметкой.
• Превращать найденные проблемы в гипотезы, данные для дообучения и критерии приёмки.
• Связывать качество модели с пользовательской ценностью продукта и строить инструменты для выявления регрессий.

Требования

• Сильная база в статистике и анализе данных.
• Уверенная работа с Python и SQL, включая проверку и исправление кода, созданного ИИ.
• Понимание принципов работы LLM и интерес к оценке моделей и агентов.
• Умение работать с неопределённостью, ограничениями данных и слабыми местами методов.
• Практический опыт использования кодинговых агентов для исследовательских задач, автоматизации процессов или создания инструментов.
• Готовность самостоятельно ставить задачи, выбирать методы и отвечать за корректность выводов.

Культура и преимущества

• Гибридный формат и современный офис с зонами отдыха.
• Ежегодный пересмотр зарплаты и годовая премия.
• Корпоративный спортзал.
• Система обучения для профессионального и карьерного развития.
• Расширенный полис ДМС с первого дня и страхование для семьи.
• Ипотечная программа и вознаграждение за рекомендации сотрудников.