AQA инженер (Поток, AI)

Локация: Москва; гибридный формат работы из офиса работодателя.

Компания

СБЕР развивает AI-решение для анализа реализации стратегии и сценарного моделирования комплексных экономико-социальных систем.

Что делать

• Проводить функциональное тестирование backend-сервисов, UI и API, готовить тестовую документацию.
• Готовить тестовые данные, участвовать в ПСИ, релизах и регрессионном тестировании.
• Анализировать обращения пользователей, данные в БД и логи сервисов.
• Строить и поддерживать eval-наборы (golden set), контролировать регрессии при изменении моделей, промптов и версий приложения.
• Проводить автоматизированную оценку качества генерации, тестировать RAG и агентные сценарии.
• Участвовать в мониторинге качества в продакшене и настройке обратной связи от пользователей.

Требования

• От 1 года опыта работы AQA на Python.
• Понимание HTTP, кодов ответов и авторизации.
• Опыт тестирования REST/JSON API, интеграций, бизнес-логики и микросервисного взаимодействия.
• Опыт работы с Postman, Insomnia или Swagger.
• Знание JSON, YAML, XML и HTML.
• Знание SQL и умение писать SQL-запросы средней сложности.
• Базовый опыт работы с Prometheus, Grafana, логами, CI/CD и QA в пайплайнах доставки.
• Понимание принципов работы и ограничений LLM, методов оценки качества генеративных моделей, опыт построения eval-наборов и оценки качества LLM.

Хорошо, если есть

• Понимание RAG и методов оценки качества retrieval.
• Опыт тестирования агентных систем, многошаговых агентов и tool calling.
• Опыт автоматизации оценки на Python с использованием pytest.
• Понимание метрик качества AI-продукта и мониторинга качества в продакшене.
• Опыт работы с Kafka и векторными или графовыми БД, например Qdrant.

Культура и преимущества

• Полная занятость и гибридный формат работы из офиса в Москве.
• Годовой бонус и ежегодный пересмотр условий.
• ДМС с первого дня, стоматология и льготное страхование для семьи.
• Корпоративный университет, образовательная платформа и участие в IT-конференциях.
• Офис на Ленинском проспекте с зонами отдыха и спортзалом, льготная ипотека, корпоративная пенсионная программа и другие корпоративные льготы.