QA инженер (Поток)

Локация: гибридный формат работы из офиса в Москве.

Компания

Команда разрабатывает ИИ-решение для анализа реализации стратегии и сценарного моделирования комплексных экономико-социальных систем.

Что делать

• Проводить функциональное тестирование backend-сервисов и UI, поддерживать тестовую документацию: чек-листы, тест-кейсы, баг-репорты и инструкции.
• Готовить тестовые данные, участвовать в ПСИ и релизах, проводить регрессионное тестирование и сценарии приемо-сдаточных испытаний.
• Анализировать обращения пользователей, данные в БД и логи сервисов, участвовать в мониторинге качества в проде и настройке обратной связи.
• Строить и поддерживать eval-наборы (golden set), контролировать качество при смене моделей, промптов и версий приложения.
• Автоматизировать оценку качества генерации при релизах с использованием LLM-as-judge и метрик типа Ragas.
• Тестировать RAG и агентные сценарии: релевантность контекста, корректность источников, многошаговые цепочки, вызовы инструментов MCP, повторные попытки и эскалацию к человеку.

Требования

• От 3 лет опыта в тестировании.
• Понимание HTTP, кодов ответов и авторизации.
• Опыт тестирования REST/JSON API для проверки интеграций, бизнес-логики и микросервисного взаимодействия.
• Опыт работы с Postman, Insomnia или Swagger.
• Опыт работы с форматами JSON, YAML, XML и HTML.
• Знание SQL и умение писать SQL-запросы средней сложности.
• Базовый опыт работы с системами сбора и визуализации метрик, логами, Prometheus и Grafana; понимание CI/CD и участия QA в пайплайнах доставки.
• Понимание принципов работы LLM и их ограничений: недетерминированность вывода, галлюцинации, методы оценки качества генеративных моделей; опыт построения eval-наборов (golden set) и оценки качества LLM.

Хорошо, если есть

• Понимание RAG и методов оценки качества retrieval: релевантности контекста и корректности источников.
• Опыт тестирования агентных систем, многошаговых агентов и tool calling.
• Опыт работы с Python для автоматизации оценки и pytest.
• Понимание метрик качества AI-продукта и мониторинга качества в проде.
• Опыт работы с Kafka.
• Опыт работы с векторными или графовыми БД, например Qdrant.
• Практический опыт использования LLM-as-judge и Ragas.

Культура и преимущества

• Полная занятость и гибридный формат работы из офиса в Москве.
• Годовой бонус и ежегодный пересмотр условий.
• ДМС с первого дня, стоматология и льготное страхование для семьи.
• Корпоративный университет, внутренняя образовательная платформа и участие в IT-конференциях.
• Офис на Ленинском проспекте с зонами отдыха и спортзалом.
• Льготная ипотека, корпоративная пенсионная программа, подписка СберПрайм и скидки от партнёров и сервисов группы компаний.