QA Engineer (AI-агенты)

Локация: Москва, Кутузовский проспект, 32. Формат работы: гибридный.

Зарплата: до 200 000 ₽ в месяц до вычета налогов.

Компания

Аккредитованная IT-компания Techno Diasoft, созданная в 2008 году, разрабатывает высоконагруженные FinTech-проекты, умные устройства, голосовых ассистентов, биометрические и AI-решения. Флагманский продукт — автоматизированная банковская система xBank.

Что делать

• Проводить интеграционное тестирование REST/gRPC, Kafka, микросервисов и взаимодействия сервисов с базой данных.
• Выполнять функциональное и регрессионное тестирование веб-интерфейсов, API и интеграций с LLM-компонентами.
• Разрабатывать и поддерживать тестовые сценарии, evaluation datasets и golden sets для оценки качества ответов моделей.
• Проверять релевантность, отсутствие галлюцинаций, заземлённость, согласованность и соответствие структурированному формату LLM-ответов.
• Тестировать промпты, adversarial-запросы, токсичные и краевые сценарии, а также безопасность и защиту от утечек данных.
• Проверять агентные сценарии, Human-in-the-loop, таймауты, повторные попытки и качество RAG-пайплайнов.

Требования

• От 2–3 лет опыта тестирования веб-сервисов, включая manual и automation testing.
• Уверенное тестирование REST/gRPC, WebSocket, очередей, микросервисной архитектуры и асинхронных процессов.
• Уверенное владение SQL и опыт валидации данных в PostgreSQL или аналогичных базах данных.
• Понимание SDLC, STLC, CI/CD, retry, eventual consistency и идемпотентности.
• Опыт работы с OpenTracing/OpenTelemetry, Grafana, Prometheus, логами и алертами.
• Понимание промпт-инжиниринга, специфики LLM, вариативности ответов, галлюцинаций, ограничений контекста и параметров генерации.

Хорошо, если есть

• Понимание LLM и агентных систем: Tool-use, мультиагентные сценарии, Plan-and-Execute, Reflection, Handoff и RAG.
• Знание метрик качества LLM: точность, полнота, F1, BLEU/ROUGE и альтернативные метрики.
• Опыт тестирования безопасности LLM, prompt injection, jailbreaks, утечек данных и RAG-систем.
• Понимание MCP-протокола и MCP-серверов, опыт тестирования агентных инструментов.
• Опыт с Kubernetes, Docker, Helm, GitLab CI, Jenkins и автоматизацией тестирования на Python.

Культура и преимущества

• Работа над FinTech-, AI- и агентными проектами для банковских и финансовых компаний.
• Взаимодействие с коллегами в условиях высокой неопределённости и развития инновационных продуктов.
• Гибридный формат работы в Москве.
• Полная занятость в аккредитованной IT-компании.