QA-инженер AI-агента (тестирование и разметка данных)

Локация: удалённая работа из России; в объявлении указан регион Москва

Зарплата: 80 000–120 000 ₽ на руки в месяц

Компания

Alventa.ai разрабатывает русскоязычного голосового AI-администратора для стоматологических клиник, который принимает звонки, консультирует пациентов и управляет записями.

Что делать

• Строить тестовую модель голосового агента: сценарии звонков, состояния, переходы, граничные и нестандартные случаи.
• Писать тест-кейсы и чек-листы, формировать регрессионные наборы и запускать ручные и текстовые прогоны диалогов.
• Проверять перебивания, уход от темы, неполные ответы, шум, распознавание фамилий, телефонов, дат и времени.
• Анализировать влияние недетерминированности LLM, классифицировать баги и изучать логи реальных звонков.
• Размечать и исправлять датасеты, готовить эталонные реплики и пары хороших и плохих ответов для дообучения.
• Определять критерии для автоматической проверки ответов через LLM-as-a-judge и проверять результаты после релизов и дообучения.

Требования

• Коммерческий опыт в тестировании от 2 лет.
• Знание техник тест-дизайна: классы эквивалентности, граничные значения, таблицы решений, диаграммы состояний и переходов, pairwise.
• Навык написания тест-кейсов, чек-листов и баг-репортов; опыт работы с TMS, например TestRail, Qase или Allure TestOps.
• Понимание регрессионного и smoke-тестирования, приоритизации багов и тестового покрытия.
• Отличная грамотность русского языка, внимательность и готовность к монотонной работе с диалогами и разметкой.
• Уверенная работа с таблицами и JSON, умение читать структурированные логи и данные.

Хорошо, если есть

• Опыт тестирования чат-ботов, голосовых ассистентов или LLM-продуктов.
• Опыт разметки данных в Label Studio, Толоке или аналогичных инструментах.
• Базовый Python, скрипты для обработки логов и датасетов, pytest.
• Понимание LLM, промптов и дообучения, включая SFT и DPO.
• Опыт API-тестирования в Postman или Swagger, интерес к медицине или опыт работы с клиниками.

Культура и преимущества

• Удалённый формат работы.
• Оформление по ТК РФ или в качестве самозанятого.
• Специализация на пересечении QA и AI: оценка качества LLM, данные для дообучения и голосовые интерфейсы.
• Возможность выстроить процесс тестирования с нуля и напрямую видеть влияние найденных и размеченных багов на продукт.