QA Engineer (AI Platform)

TL;DR

QA Engineer (AI Platform): Тестирование инженерной AI-платформы, включая API, Kubernetes-компоненты и интеграции LLM, с акцентом на автоматизацию Quality Gates и AI Evaluation. Фокус на обеспечении качества RAG/Embedding пайплайнов, MCP-серверов и инструментов развертывания в GitLab CI/CD.

Локация: Удаленно или гибридный формат (Москва / Самара)

Компания

Продуктовая IT-компания, которая с 2008 года создает решения для автоматизации юридических бизнес-процессов.

Что делать

• Тестировать Platform API, компоненты Kubernetes, GitOps (ArgoCD) и GPU Runtime (vLLM).
• Разрабатывать и поддерживать интеграционные, контрактные, смоук и регрессионные тесты.
• Проверять работу MCP-серверов, AI-агентов, LLM Routing и RAG/Embedding пайплайнов.
• Автоматизировать проверки в GitLab CI/CD и внедрять Quality Gates.
• Проводить AI Evaluation с использованием EvalScope и Langfuse.
• Расследовать причины сбоев в пайплайнах и интеграционные ошибки.

Требования

• Практический опыт тестирования и разработки AI-агентов и MCP-серверов.
• Навыки написания автотестов на Python, Go или других языках.
• Опыт работы с REST API, gRPC, OpenAPI, JSON/YAML.
• Понимание contract testing, AI Evaluation, EvalScope и Langfuse.
• Опыт работы с Docker, Kubernetes, Linux, Git, GitLab CI/CD, Grafana.
• Опыт работы с векторными БД (Qdrant, Milvus или аналоги).

Хорошо, если есть

• Знание Helm, Terraform, ArgoCD.
• Опыт работы с Kafka или NATS.
• Опыт тестирования платформенных компонентов или Developer Platform.
• Опыт работы с LLM, RAG, MCP и AI-инфраструктурой.
• Понимание Security Checks, SAST/DAST, Dependency Scanning и Quality Gates.

Культура и преимущества

• Участие в разработке собственной AI Platform с нуля.
• Современный технологический стек (Kubernetes, GitOps, LLM, RAG, MCP).
• Возможность влиять на архитектуру процессов тестирования и качество продукта.
• Работа в сильной инженерной команде с передовыми AI-технологиями.
• Гибкие варианты организации работы: удаленно или гибрид.