QA Lead (AI)

TL;DR

QA Lead (AI): Разработка и внедрение QA-стратегии для SaaS-платформы по созданию LLM-приложений с акцентом на качество недетерминированных AI-систем, RAG-пайплайнов и агентов. Фокус на построении инфраструктуры автоматизации (pytest, Playwright), создании eval-систем для AI и управлении процессами качества в распределённой архитектуре.

Локация: Удаленно (График работы с 09:00 до 18:00 по мск)

Компания

EvoAI — веб-SaaS-платформа для разработки и развёртывания корпоративных AI-агентов и LLM-приложений.

Что делать

• Формировать QA-стратегию для веб-части (Flask, Next.js) и AI-специфики (eval агентов, RAG, промпт-регрессии).
• Внедрять Quality gates: пороги покрытия, type-check (ruff/tsc), линты, Playwright и миграции Alembic.
• Развивать автоматизацию: pytest и testcontainers на бэкенде, Vitest и Playwright на фронтенде.
• Создавать eval-инфраструктуру для AI-агентов через Langfuse, Opik или Weave.
• Проводить нагрузочное и chaos-тестирование Celery-воркеров и векторных БД, а также security-тесты.
• Управлять небольшой QA-командой: распределять задачи, проводить code review тестов и менторить сотрудников.

Требования

• Опыт в QA от 5 лет, включая построение или масштабирование процессов с нуля.
• Уверенное владение Python (pytest, Flask, SQLAlchemy, Celery) и понимание распределённых систем.
• Опыт автоматизации фронтенда (Vitest/Jest, RTL, Playwright/Cypress).
• Навыки тестирования API (REST, OpenAPI) и работы с PostgreSQL (Alembic).
• Понимание SDLC и CI/CD (GitHub Actions, Docker Compose).
• Готовность к работе в часовом поясе Москвы (09:00–18:00).

Хорошо, если есть

• Опыт тестирования LLM-приложений, AI-агентов или качества RAG-ретривала.
• Работа с векторными БД (pgvector, Qdrant, Weaviate, Pinecone и др.).

Культура и преимущества

• Полностью удалённый формат работы.
• Работа в сильной команде с возможностью реализации творческих идей.
• Профессиональный рост и высокая степень ответственности (ownership) за продукт.