Эта вакансия в архиве

Посмотреть похожие вакансии ↓
5 дней назад

QA-инженер (AI Sales помощник)

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia

Описание вакансии

Текст:
/
TL;DR
QA-инженер (AI Sales помощник) (LLM/GenAI): Тестирование качества ответов ИИ-помощника для сейлзов и трейдеров с акцентом на оценку релевантности, полноты, корректности и стабильности ответов. Focus on формировании golden set, тестировании промптов и RAG-конвейеров, выявлении регрессий моделей и автоматизации прогонов запросов на Python.

Локация: Москва, гибридный формат работы с посещением офиса на Вавилова, 19

Компания

СБЕР развивает ИИ-помощника для сейлзов и трейдеров, который автоматизирует часть рутинных задач и процессов.

Что делать

  • Тестировать качество ответов AI-навыков: релевантность, полноту, корректность, отсутствие галлюцинаций и уверенных, но неверных ответов.
  • Формировать и поддерживать эталонные датасеты (golden set) для регрессионной оценки ответов LLM и промптов.
  • Тестировать промпты, RAG-конвейеры и маршрутизацию оркестратора, включая выбор агента и полноту источников.
  • Оценивать недетерминированное поведение, стабильность и качество ответов между версиями моделей и промптов.
  • Разрабатывать, проверять и поддерживать тест-кейсы, чек-листы и тест-планы.
  • Взаимодействовать с разработчиками, аналитиками, DS/ML-инженерами и PO; вести баг-трекинг в Jira и документацию в Confluence.

Требования

  • От 3 до 6 лет опыта; не менее 3 лет в роли QA.
  • Опыт функционального и сквозного (E2E) тестирования.
  • Опыт тестирования API и интеграций: REST/gRPC, форматы запросов и ответов, моки внешних сервисов.
  • Умение составлять и проверять тест-кейсы в Zephyr и анализировать покрытие.
  • Понимание принципов работы LLM и GenAI: промпты, RAG, температура и вариативность, ограничения моделей, галлюцинации, потеря контекста и неверная интерпретация запросов.
  • Опыт оценки качества AI-ответов: эталонные наборы, ручная и полуавтоматическая разметка, метрики точности, полноты, faithfulness и relevancy.
  • Навыки написания скриптов на Python для пакетного прогона запросов, сбора и сравнения результатов.

Хорошо, если есть

  • Опыт в финтехе или банковской сфере.
  • Опыт тестирования AI/ML-продуктов: чат-ботов, ассистентов или рекомендательных систем.
  • Знание LangSmith, DeepEval, Arize, RAGAS или аналогичных инструментов оценки LLM.
  • Базовые знания автоматизации тестирования на Java или Python.
  • Опыт работы с Grafana и мониторингом качества AI-ответов.
  • Понимание требований комплаенса и работы с чувствительными данными.

Культура и преимущества

  • Гибридный формат работы и современный офис на Вавилова, 19.
  • Ежегодный пересмотр зарплаты, квартальная и годовая премии.
  • Корпоративный спортзал, зоны отдыха и более 400 образовательных программ СберУниверситета.
  • Программа адаптации и помощь руководителя на старте.
  • Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
  • Льготный ипотечный дисконт, подписка Прайм для трёх близких и вознаграждение за рекомендации.