Senior/Lead QA Engineer (AI/LLM Products)

Локация: Москва; на период испытательного срока — офисный формат работы на месте работодателя, далее возможен гибридный формат.

Компания

СБЕР разрабатывает AI-инструменты, LLM-платформу и автоматизацию на базе искусственного интеллекта.

Что делать

• Проводить функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций продуктов с LLM-компонентами.
• Разрабатывать и поддерживать evaluation datasets и golden sets для оценки качества ответов моделей.
• Тестировать промпты на устойчивость к перефразированию, edge-кейсам, prompt injection и jailbreaks.
• Оценивать точность, полноту, галлюцинации и соответствие ответов structured output и JSON Schema.
• Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность.
• Автоматизировать проверки на Python и pytest, тестировать API-интеграции с LLM-провайдерами, вести документацию и баг-репорты, участвовать в приёмке фич и разборе дефектов с разработчиками и ML-инженерами.

Требования

• Опыт в тестировании от 5 лет, включая ручное тестирование и автоматизацию.
• Практический опыт работы с AI-инструментами, включая ChatGPT, Claude, Copilot и аналоги, на уровне рабочего инструмента.
• Понимание основ промпт-инжиниринга: структуры промпта, few-shot, chain-of-thought, SDD и работы с системными промптами.
• Уверенное тестирование API с Postman, curl или HTTP-клиентами; чтение JSON и понимание REST.
• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
• Базовый Python для автотестирования; умение писать и поддерживать тесты с pytest, requests и playwright, понимание структуры тестового проекта, фикстур и ассертов.
• Умение писать чёткие баг-репорты и тест-кейсы, включая воспроизводимые случаи некорректных ответов модели.

Хорошо, если есть

• Продвинутая автоматизация UI с Playwright или Selenium; опыт построения фреймворков с нуля.
• Опыт построения LLM-evaluation пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками.
• Понимание RAG-архитектур.
• Опыт тестирования безопасности LLM, включая prompt injection, jailbreaks и утечки данных.

Культура и преимущества

• Полная занятость; офисный формат на период испытательного срока, затем возможен гибрид.
• Ежегодный пересмотр зарплаты.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета, программа адаптации и помощь руководителя на старте для Junior-позиций.
• Корпоративный спортзал, зоны отдыха, подписка СберПрайм и льготный дисконт по ипотечному кредиту.
• Вознаграждение за рекомендации кандидатов в команду Сбера.