QA Engineer / LLM Evaluation (AI)

Локация: Москва; работа на месте работодателя, также указан гибридный формат. Офис расположен рядом с м. Ленинский проспект.

Компания

СБЕР развивает команду AIFA, создающую AI-продукты с LLM-компонентами и финансовым агентом.

Что делать

• Проводить функциональное, интеграционное, регрессионное и end-to-end тестирование AIFA.
• Тестировать backend API, пользовательский интерфейс и взаимодействие микросервисов.
• Автоматизировать API- и UI-тесты, а также проверять длительные и параллельные процессы, стриминг, повторные вызовы и восстановление после ошибок.
• Создавать и поддерживать тестовые наборы для извлечения данных, Q&A, финансового анализа и моделирования.
• Формировать бенчмарки и метрики качества LLM-компонентов, проверять воспроизводимость результатов и анализировать причины деградации качества.
• Участвовать в разборе дефектов, контролировать исправления, формировать quality gates и организовывать валидацию результатов с финансовыми экспертами.

Требования

• Опыт работы в QA от 2 лет; в описании вакансии указан диапазон общего опыта от 3 до 6 лет.
• Понимание основных видов и методик тестирования, клиент-серверной и микросервисной архитектуры.
• Опыт тестирования REST API, базовые знания Python и SQL.
• Умение работать с логами, локализовывать источник ошибки и системно описывать дефекты.
• Готовность развиваться в автоматизации тестирования AI-продуктов.

Хорошо, если есть

• Опыт с pytest, CI/CD, Docker, нагрузочным тестированием или оценкой LLM.
• Глубокая финансовая экспертиза не требуется: предметную область можно освоить с помощью команды.

Культура и преимущества

• Ежегодный пересмотр зарплаты, квартальная и годовая премии.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте.
• Корпоративный спортзал, зоны отдыха и подписка Прайм с возможностью совместного использования.
• Льготный дисконт по ипотечному кредиту и вознаграждение за рекомендации кандидатов.