Назад

Не получаете ответ?

Вакансия опубликована 10 дн. назад - шансы на ответ снижаются.

обновлено 11 дней назад

Аналитик качества AI в Финтех (AI)

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Аналитик качества AI в Финтех (AI/LLM): Развитие метрик качества AI-сервисов и LLM-агентов, подготовка наборов данных и оценка изменений моделей, промптов и агентских сценариев с акцентом на точность, полноту и полезность ответов. Фокус на статистическом сравнении версий, исследовании ошибок, проверке корректности действий агентов и сопоставлении офлайн-оценок с пользовательскими и продуктовыми метриками.

Локация: Москва, RU; офис, гибридный формат

Компания

Яндекс Финтех развивает AI-сервисы и LLM-агентов для финансовых сценариев.

Что делать

  • Определять критерии оценки качества AI-сценариев и разрабатывать измеримые метрики точности, полноты, полезности и успешности решения пользовательских задач.
  • Собирать оценочные наборы из типичных запросов, сложных случаев и ошибок; готовить инструкции для разметки, разбирать спорные оценки и проверять согласованность разметки.
  • Сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и выявлять ухудшения в отдельных группах запросов.
  • Исследовать ошибки моделей, контекста, поиска информации и инструментов, формулировать улучшения вместе с разработчиками и экспертами предметной области.
  • Сопоставлять результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.

Требования

  • Использовать Python для анализа данных и автоматизации задач.
  • Писать запросы на SQL.
  • Понимать методы математической статистики, выбирать способы сравнения и корректно интерпретировать эксперименты.
  • Быть готовым исследовать текстовые данные, подробно разбирать отдельные примеры и находить системные проблемы.
  • Интересоваться AI-инструментами и LLM-моделями и разбираться в причинах их ошибок.

Культура и преимущества

  • Работа на стыке аналитики, машинного обучения и продукта.
  • Взаимодействие с разработчиками и экспертами предметной области.
  • Работа над качеством AI-сервисов и LLM-агентов в финансовых сценариях.
  • Гибридный формат работы в московском офисе.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →