QA Engineer (AI-агенты) + Python

Локация: Москва, Кутузовский проспект, 32; гибридный формат работы

Зарплата: до 200 000 ₽ в месяц, до вычета налогов

Компания

Techno Diasoft — аккредитованная IT-компания, созданная в 2008 году, которая разрабатывает высоконагруженные FinTech-проекты, умные устройства, голосовых ассистентов, биометрические и AI-решения; флагманский продукт — автоматизированная банковская система xBank.

Что делать

• Проводить интеграционное тестирование REST/gRPC, Kafka, микросервисов и валидацию данных между сервисами и базой данных.
• Участвовать в функциональном и регрессионном тестировании веб-интерфейсов, API и интеграций с LLM-компонентами, а также в подготовке релизов.
• Разрабатывать и поддерживать тестовые сценарии, evaluation datasets и golden sets для оценки качества ответов моделей.
• Проверять релевантность, галлюцинации, grounding, согласованность и соответствие формату JSON Schema в ответах LLM и пайплайнах.
• Тестировать промпты, adversarial-, краевые и токсичные запросы, безопасность данных, уязвимости зависимостей и соответствие внутренним политикам.
• Проверять агентные сценарии, Human-in-the-loop, таймауты, повторные попытки, качество RAG-поиска и обработку нерелевантных, шумных и неоднозначных данных.

Требования

• От 3 до 6 лет общего опыта и от 2–3 лет опыта тестирования веб-сервисов, включая frontend и backend, manual и automated testing.
• Уверенное тестирование REST/gRPC API, WebSocket, очередей и микросервисной архитектуры.
• Понимание SDLC, STLC, CI/CD, клиент-серверной и микросервисной архитектуры, retry, eventual consistency, идемпотентности и асинхронных процессов.
• Уверенное владение SQL, написание запросов и валидация данных в PostgreSQL или аналогичных базах данных.
• Опыт работы с OpenTracing/OpenTelemetry, Grafana, Prometheus, логами и алертами.
• Понимание основ prompt engineering: структура промпта, few-shot, chain-of-thought и системные промпты.
• Умение проектировать тестовые сценарии для неопределённых и вариативных ответов LLM, а также понимание недетерминированности, галлюцинаций, ограничений контекста, температуры и параметров генерации.
• Понимание основ LLM и агентных систем, включая Tool-use, мультиагентные сценарии, RAG и метрики качества: точность, полнота, F1, BLEU/ROUGE или альтернативы.
• Опыт работы с Jira или аналогичными таск-трекерами, самостоятельность в условиях высокой неопределённости и способность эффективно взаимодействовать с коллегами.

Хорошо, если есть

• Опыт тестирования безопасности LLM: prompt injection, jailbreaks и утечки данных.
• Опыт тестирования RAG-систем, оценки качества поиска, подбора метрик и работы с эмбеддингами.
• Практический опыт валидации LLM-ответов: ручная разметка, сравнение моделей и A/B-сравнение.
• Понимание MCP-протокола и MCP-сервера, опыт тестирования агентных инструментов.
• Опыт работы с Kubernetes, Docker, Helm и CI/CD, включая GitLab CI или Jenkins.
• Навыки автоматизации тестирования на Python с применением AI-инструментов.

Культура и преимущества

• Гибридный формат работы в Москве.
• Полная занятость в аккредитованной IT-компании.
• Работа над FinTech-, AI-, биометрическими и высоконагруженными проектами.
• Взаимодействие с ведущими банками, финансовыми компаниями и инновационными предприятиями.