Senior QA Engineer (AI)

Локация: удаленная работа из России, рабочий график 09:00–18:00 по МСК

Зарплата: до 300 000 RUB в месяц до вычета налогов

Компания

EvoAI — IT-компания в области AI-консалтинга и генеративного искусственного интеллекта, разрабатывающая AI-агентов, ассистентов, комплексные AI-решения и собственную no-code платформу.

Что делать

• Разрабатывать и поддерживать QA-стратегию, процессы тестирования и автоматизацию продукта.
• Тестировать Flask API, Next.js UI, REST API, OpenAPI-контракты и AI-функциональность.
• Создавать unit-, integration- и E2E-тесты с использованием Python, pytest, Playwright, Cypress, Vitest, Jest и React Testing Library.
• Проверять распределенные и асинхронные сценарии с Celery, Redis, очередями и eventual consistency, а также работу PostgreSQL и миграций Alembic.
• Настраивать quality gates в CI/CD, включая coverage, type-check, линтеры, автоматический запуск тестов и E2E.
• Тестировать LLM-агентов и RAG-пайплайны, создавать eval-наборы и регрессионные тесты, оценивать качество ответов и RAG-ретривала.

Требования

• 5+ лет опыта в QA или тестировании.
• Опыт построения или развития автоматизированного тестирования и уверенное знание Python и pytest.
• Опыт работы с фикстурами, параметризацией, моками, интеграционными тестами и backend-стеками Flask, FastAPI или Django.
• Опыт автоматизации frontend с Playwright или Cypress, а также Vitest или Jest и React Testing Library.
• Знание API-тестирования, REST, OpenAPI, PostgreSQL, миграций, CI/CD, Docker и GitHub Actions.
• Понимание тестирования распределенных и асинхронных систем, а также баланса между качеством, рисками и скоростью разработки.

Хорошо, если есть

• Опыт тестирования LLM-приложений, AI-агентов или ML-продуктов, а также практический опыт с RAG.
• Опыт работы с Langfuse, Opik, Weave или аналогичными инструментами eval и observability.
• Опыт с vector DB, включая pgvector, Qdrant, Weaviate или Pinecone.
• Опыт нагрузочного, security или chaos-тестирования, а также работы с Celery, Redis и другими очередями.
• Опыт участия в формировании QA-процессов с нуля в продуктовой команде.

Культура и преимущества

• Удаленный формат работы.
• Работа над собственным развивающимся AI-продуктом.
• Возможность влиять на процессы и качество продукта.
• Профессиональный рост в QA Automation и тестировании AI-систем.
• Взаимодействие с разработчиками и продуктовой командой на всех этапах разработки.