Инженер по тестированию и оценке качества ИИ (AI)

Локация: Москва, Ленинградский проспект, 35с1; работа на месте работодателя или в гибридном формате, который обсуждается индивидуально. График: 5/2, с 09:00 до 18:00.

Компания

РТК-ЦОД реализует крупные проекты, связанные с ИИ-решениями и их качеством.

Что делать

• Развивать EvalOps: автоматизированные прогоны, регрессионные проверки и интеграцию контроля качества в CI/CD.
• Готовить эталонные выборки, разрабатывать детерминированные проверки совместно с экспертами и настраивать LLM-as-a-Judge.
• Анализировать агентские трассы, находить источники ошибок, воспроизводить и проверять дефекты.
• Проверять tool calling, параметры инструментов, обработку ошибок и устойчивость к prompt injection.
• Контролировать регрессии после запуска и принимать решения об откате релизов.
• Разрабатывать автотесты на Python с использованием pytest, httpx и asyncio.

Требования

• От 1 года до 3 лет опыта.
• Уверенное владение Python для разработки автотестов и обработки результатов, включая pytest, httpx и asyncio; знание SQL.
• Практический опыт тестирования LLM и агентских систем, разработки эталонных выборок и автоматизированных проверок.
• Понимание работы LLM, управления контекстом, tool calling, skills и MCP; умение оценивать полный сценарий выполнения задачи, включая действия и итоговые артефакты.
• Знание тест-дизайна, негативных и граничных сценариев; понимание вариативности ответов, повторных прогонов и сопоставимых условий сравнения.
• Умение сочетать детерминированные проверки и LLM-as-a-Judge, оценивать качество самого оценщика и разбирать ошибки валидаторов.
• Практический опыт разработки автоматизированных проверок с использованием ИИ-агентов через SDD и TDD, включая проверку предлагаемых агентом изменений.
• Опыт работы с Git, GitLab CI и Docker, интеграции проверок качества в CI/CD.
• Умение формулировать критерии допуска, документировать результаты и обосновывать решения о выпуске, блокировке или откате перед разработчиками и бизнес-заказчиками.

Хорошо, если есть

• Опыт работы с Langfuse, анализа агентских трасс и тестирования устойчивости к prompt injection.

Культура и преимущества

• Стабильный официальный доход и полноценный социальный пакет.
• Корпоративный университет для внутреннего и внешнего профильного обучения.
• Программа ДМС с обслуживанием в клиниках Москвы.
• Корпоративные спортивные команды, скидки на фитнес-абонементы и программа привилегий Primezone.
• Корпоративная мобильная связь и возможности горизонтального и вертикального карьерного роста.