Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
QA-инженер (LLM-платформа): Тестирование AI-продуктов с LLM-компонентами, включая веб-интерфейсы, API, интеграции и наборы сценариев для оценки качества ответов, с акцентом на недетерминированность моделей, устойчивость промптов и выявление галлюцинаций. Фокус на автоматизации проверок с Python и pytest, анализе плавающих дефектов, тестировании prompt injection и jailbreak-сценариев, а также проверке интеграций с LLM-провайдерами.
Локация: Москва, работа на месте работодателя; в предложении также указан гибридный формат. Офис расположен рядом с м. Кутузовская.
Компания
СБЕР разрабатывает AI-инструменты, LLM-платформу и решения для автоматизации на базе искусственного интеллекта.
Что делать
- Проводить функциональное и регрессионное тестирование AI-продуктов, веб-интерфейсов, API и интеграций.
- Разрабатывать и поддерживать evaluation datasets и golden sets для оценки качества ответов моделей.
- Тестировать промпты на устойчивость к перефразированию, edge-кейсам, инъекциям и jailbreak-сценариям.
- Оценивать точность, полноту, галлюцинации и соответствие ответов структурированному формату и JSON Schema.
- Анализировать недетерминированное поведение и воспроизводить плавающие дефекты.
- Автоматизировать проверки на Python и pytest, тестировать API-интеграции с OpenAI, Anthropic и OpenRouter.
Требования
- От 3 лет опыта в тестировании, включая ручное тестирование и понимание принципов автоматизации.
- Практический опыт работы с ChatGPT, Claude, Copilot или аналогичными AI-инструментами.
- Понимание prompt engineering, включая структуру промпта, few-shot, chain-of-thought, sdd и системные промпты.
- Уверенное тестирование API с Postman, curl или HTTP-клиентами; понимание REST и JSON.
- Понимание недетерминированности LLM, галлюцинаций, ограничений контекста, температуры и параметров генерации.
- Базовый Python для автотестирования: pytest, requests, фикстуры, ассершены и структура тестового проекта.
Хорошо, если есть
- Продвинутая UI-автоматизация с Playwright или Selenium и опыт построения фреймворков.
- Опыт создания LLM-evaluation пайплайнов с promptfoo, LangSmith, Ragas или собственными фреймворками.
- Понимание RAG-архитектур и векторного поиска.
- Опыт тестирования безопасности LLM, включая prompt injection, jailbreaks и утечки данных.
- Английский на уровне чтения технической документации и выше.
Культура и преимущества
- Современный офис, корпоративный спортзал и зоны отдыха.
- Ежегодный пересмотр зарплаты.
- Более 400 образовательных программ СберУниверситета.
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Льготные условия по ипотечному кредиту и подписка СберПрайм.
- Вознаграждение за рекомендации кандидатов.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →