Middle QA Engineer (AI/LLM Products)

Локация: Санкт-Петербург; офисный формат на период испытательного срока, далее возможен гибридный формат

Компания

Сбер разрабатывает AI-инструменты, LLM-платформу и решения для автоматизации на базе искусственного интеллекта.

Что делать

• Проводить функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций с LLM-компонентами.
• Разрабатывать и поддерживать evaluation datasets, golden sets и тестовые сценарии для оценки качества ответов моделей.
• Проверять устойчивость промптов к перефразированию, edge-кейсам, prompt injection и jailbreaks.
• Оценивать точность, полноту, наличие галлюцинаций и соответствие ответов структурированному формату и JSON Schema.
• Анализировать недетерминированное поведение, воспроизводить плавающие дефекты и статистически оценивать стабильность.
• Автоматизировать проверки на Python и pytest, тестировать API-интеграции, лимиты, ретраи, обработку ошибок и стриминг.

Требования

• Высшее образование и опыт в тестировании от 3 лет, включая ручное тестирование и автоматизацию.
• Практический опыт работы с AI-инструментами, включая ChatGPT, Claude, Copilot или аналоги.
• Понимание prompt engineering, few-shot, chain-of-thought, SDD и системных промптов.
• Уверенное тестирование API с Postman, curl или HTTP-клиентами, чтение JSON и понимание REST.
• Понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации.
• Базовый Python для автотестирования, pytest, requests, Playwright, фикстуры, ассерты, тестовая документация и воспроизводимые баг-репорты.

Хорошо, если есть

• Продвинутая UI-автоматизация с Playwright или Selenium и опыт построения фреймворков с нуля.
• Опыт создания LLM-evaluation-пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками.
• Понимание RAG-архитектур.
• Опыт тестирования безопасности LLM, включая prompt injection, jailbreaks и утечки данных.

Культура и преимущества

• Срочный трудовой договор до 01.07.2027.
• Ежегодный пересмотр заработной платы.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• Корпоративный спортзал, зоны отдыха, подписка СберПрайм и ипотечная скидка.