RUВакансия из Hirify RU, списка российских tech-компаний
Пожаловаться
Зарплата и рынок
развернуть
По рынку СНГ данных пока нет
На международном рынке: $120к/год ($70к - $144к)
82
Хорошая вакансия
развернуть
В Яндексе чётко описана роль на стыке аналитики и качества LLM в развивающемся финтех-направлении, но без зарплаты сложнее оценить финансовую привлекательность.
?Зарплата не указана
Современный стек
Понятные задачи
На стыке AI и финтеха
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Аналитик качества AI в Финтех (AI/LLM): Развитие метрик качества AI-сервисов и LLM-агентов, подготовка наборов данных и оценка изменений моделей, промптов и агентских сценариев с акцентом на точность, полноту и полезность ответов. Фокус на статистическом сравнении версий, исследовании ошибок, проверке корректности действий агентов и сопоставлении офлайн-оценок с пользовательскими и продуктовыми метриками.
Локация: Москва, RU; офис, гибридный формат
Компания
Яндекс Финтех развивает AI-сервисы и LLM-агентов для финансовых сценариев.
Что делать
Определять критерии оценки качества AI-сценариев и разрабатывать измеримые метрики точности, полноты, полезности и успешности решения пользовательских задач.
Собирать оценочные наборы из типичных запросов, сложных случаев и ошибок; готовить инструкции для разметки, разбирать спорные оценки и проверять согласованность разметки.
Сравнивать версии моделей, промптов и агентских сценариев, проверять статистическую значимость результатов и выявлять ухудшения в отдельных группах запросов.
Исследовать ошибки моделей, контекста, поиска информации и инструментов, формулировать улучшения вместе с разработчиками и экспертами предметной области.
Сопоставлять результаты офлайн-оценки с поведением пользователей и продуктовыми метриками.
Требования
Использовать Python для анализа данных и автоматизации задач.
Писать запросы на SQL.
Понимать методы математической статистики, выбирать способы сравнения и корректно интерпретировать эксперименты.
Быть готовым исследовать текстовые данные, подробно разбирать отдельные примеры и находить системные проблемы.
Интересоваться AI-инструментами и LLM-моделями и разбираться в причинах их ошибок.
Культура и преимущества
Работа на стыке аналитики, машинного обучения и продукта.
Взаимодействие с разработчиками и экспертами предметной области.
Работа над качеством AI-сервисов и LLM-агентов в финансовых сценариях.
Гибридный формат работы в московском офисе.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →