Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
QA Automation Engineer (Python/Playwright): Разработка и поддержка фреймворков автоматизации для Voice AI платформы с акцентом на тестирование LLM, Voice AI пайплайнов и event-driven сценариев. Фокус на оценке качества моделей (LLM-as-a-Judge), контроле SLO AI-сервисов и обеспечении стабильности production-релизов через canary-deployments.
Локация: Удалённо (необходимо синхронизировать тайм-зоны с командой)
Компания
Evrone занимается продуктовой разработкой стартапов и цифровой трансформацией бизнеса в России, США и Европе.
Что делать
- Разработка и поддержка фреймворков автоматизации на PyTest и Playwright.
- Тестирование API, Voice AI и event-driven сценариев.
- Оценка качества LLM с использованием подходов LLM-as-a-Judge и Rubric-based Evaluation.
- Сопровождение canary release, A/B тестирования и процессов отката (rollback).
- Контроль SLO AI-сервисов и работа с production-окружением в Kubernetes.
- Взаимодействие с ML-командой по вопросам качества моделей и датасетов.
Требования
- Опыт в автоматизации тестирования от 3-х лет.
- Уверенное владение Python, PyTest, Playwright и TypeScript.
- Опыт работы с CI/CD, canary release и quality gates.
- Практический опыт тестирования AI/LLM-продуктов или систем оценки моделей.
- Понимание принципов SLO/SLI для AI-сервисов.
- Разговорный английский язык для коммуникации внутри команды.
Хорошо, если есть
- Опыт работы с Kubernetes и Linux.
- Навыки нагрузочного тестирования с использованием k6.
- Знание WebRTC, SIP, LiveKit или технологий телефонии.
- Опыт работы с GPU Cloud-платформами (например, Nebius AI Cloud).
- Знание MLOps и ML-инфраструктуры.
Культура и преимущества
- Полностью удалённый формат работы и гибкий график.
- Годовой бюджет (Evrone Benefits) на ДМС, спорт, обучение, технику и иностранные языки.
- Система менторства, регулярные 1:1 и Grow Review для профессионального роста.
- Возможность выступать на конференциях и писать статьи при поддержке DevRel.
- Оплата часов за вклад в Open Source проекты.
- Ежегодный корпоративный фестиваль Evrone Fest.
Процесс найма
- HR-интервью (soft-skills, проверка английского, мотивация).
- Техническое интервью с экспертами Evrone.
- Техническое интервью с командой проекта.
- Интервью с Project Manager (culture-fit).
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →