QA Engineer (AI Agents)

QA Engineer (AI Agents) в компанию Aspirity Solution

Aspirity Solution — студия разработки, более 10 лет создающая веб- и мобильные приложения, no-code решения и интеллектуальных AI-агентов для клиентов по всему миру.

📝 Обязанности
- Тестирование и оценка работы AI-агентов (диалоговые и когнитивные системы).
- Разработка и проведение eval-тестов для анализа корректности, устойчивости и предсказуемости поведения агентов.
- Подготовка тест-кейсов и сценариев функционального и нефункционального тестирования.
- Анализ поведения агентов при нестандартных входных данных, выявление логических ошибок и погрешностей в промптах.
- Взаимодействие с разработчиками и prompt-инженерами для улучшения моделей и тестовых пайплайнов.
- Поддержка автоматизации тестирования и развитие QA-процессов внутри AI-команды.
- Ведение технической документации.

🔍 Требования
- Опыт работы в QA (manual или automation) от 2 лет.
- Опыт тестирования AI-агентов или чат-ботов.
- Понимание принципов работы AI-агентов, LLM-систем и prompt-инженерии.
- Опыт работы с eval-инструментами (OpenAI Evals, DeepEval, LangChain Evals или аналогами).
- Опыт автоматизированного тестирования агентов (желательно).
- Владение Python на уровне написания тестов и утилитарных скриптов.
- Навыки работы с Git и системами отслеживания ошибок.
- Английский не ниже B2 для коммуникации в международной команде.
- Кандидат должен находиться вне РФ.
- Обязательная доступность в PT-часовом поясе: присутствие онлайн с 7:00 PT до 16:00 PT.

💎 Будет преимуществом
- Опыт работы с LangChain, vapi, Synthflow или другими инструментариями создания AI-агентов.
- Опыт анализа выходов LLM по метрикам качества (accuracy, coherence, relevance).
- Понимание CI/CD-процессов и базовых инструментов мониторинга.
- Опыт участия в построении тестовой архитектуры для AI-систем.

🕹 Условия
- Удалённый формат работы.
- Обязательная доступность в PT-часовом поясе.
- Оплата по квалификации: от 20 USD/час.
- Работа в команде разработчиков, ML-инженеров и AI-специалистов.
- Возможность развиваться в QA-направлении для систем с LLM и AI-агентами.

📞 Контакты
- Telegram: Показать контакты