AQA-инженер по тестированию AI-агентов

Локация: Москва; работа на месте работодателя, удалённо или в гибридном формате.

Зарплата: от 150000 RUR в месяц на руки.

Компания

PravoTech создаёт продукты для юристов и развивает продукт Право(Агент), который передаёт юридическую работу AI-агентам.

Что делать

• Отслеживать изменения в агентах, навыках, промптах и RAG, проверяя затронутые сценарии перед релизом.
• Составлять и запускать E2E-сценарии работы юриста в чате через агентов-тестировщиков; анализировать автоматически собранные отчёты.
• Проверять ответы моделей с помощью LLM-as-a-judge и калибровать оценки по разметке юристов.
• Тестировать качество поиска RAG, точность ссылок и соответствие ответов источникам.
• Анализировать трейсы в Langfuse и телеметрию, включая ошибки агентов, стоимость и длительность шагов.
• Писать автотесты API и UI, поддерживать регрессию в CI, заводить баг-репорты и готовить отчёты по проблемам, исправлениям, скорости и стоимости агентов.

Требования

• От 3 лет опыта в AQA или backend-разработке на Python.
• От 1 года практики с LLM-агентами или LLM-приложениями в тестировании или разработке агентных систем.
• Опыт использования LLM-as-a-judge и оценки RAG.
• Опыт работы с Langfuse или аналогами — LangSmith, Phoenix, OpenTelemetry — включая трейсы, датасеты, подсчёт токенов и стоимости.
• Знание Python, pytest, автотестов API и UI с Playwright или аналогом, Docker и CI.
• Понимание устройства агентов: вызовов инструментов, контекста, кэша промпта и reasoning-токенов.
• Самостоятельность и высокая скорость работы: способность замечать изменения, тестировать их и готовить отчёты.

Хорошо, если есть

• Опыт backend-разработки на Python.
• Понимание архитектуры гибридного RAG.
• Pet-проекты с агентными системами.
• Профильное IT-образование.

Культура и преимущества

• Небольшая и быстрая команда.
• Изменения в AI-агентах выходят ежедневно.
• Доступны форматы работы на месте работодателя, удалённо и гибридно.
• Полная занятость.