1 день назад
QA Engineer (Manual + LLM + базовая автоматизация) (LLM)
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
QA Engineer (Manual + LLM + базовая автоматизация) (LLM): Тестирование web- и API-функциональности, микросервисных интеграций и голосовых продуктов с генеративным ИИ с акцентом на проверку вероятностного поведения LLM, анализ логов и базовую автоматизацию на Python. Focus on проектирование adversarial- и пограничных сценариев, формирование eval-наборов, локализацию дефектов через Grafana Loki и написание автотестов для API и регрессионных проверок.
Локация: Санкт-Петербург;
Компания
target ai создаёт продукты на базе голосовых технологий и генеративного ИИ для внедрения AI в бизнес-процессы; в команде более 50 специалистов.
Что делать
- Проводить e2e-приёмку новых функций и предрелизное регрессионное тестирование.
- Тестировать REST API, web-функциональность и интеграции между микросервисами.
- Проектировать позитивные, негативные, пограничные и adversarial-сценарии для LLM-функций.
- Формировать тестовые наборы и измеримые критерии оценки недетерминированных ответов.
- Локализовывать дефекты по API-запросам и ответам, логам сервисов и данным Grafana Loki; описывать воспроизводимые баги в Яндекс Трекере.
- Писать и поддерживать автотесты на Python для API и регрессионных сценариев, участвовать в тестовой стратегии.
Требования
- От 3 лет коммерческого опыта тестирования web-продуктов, API и интеграций.
- Уверенное понимание тест-дизайна, клиент-серверного взаимодействия, HTTP и REST API.
- Опыт локализации проблем, работы с логами и системами наблюдаемости; желателен Grafana Loki и LogQL.
- Практический опыт применения LLM для технических задач и понимание недетерминированности, галлюцинаций, контекста, промптов и structured output.
- Базовые навыки Python, pytest, requests или httpx и Git.
- Умение составлять воспроизводимые проверки LLM-функциональности и измеримые критерии успешности.
Хорошо, если есть
- Опыт тестирования LLM, AI-агентов, RAG или голосовых технологий.
- Опыт создания eval-наборов и автоматизированной оценки качества ответов.
- Знание tool calling, JSON Schema, Playwright или Selenium.
- Знание SQL, Linux, Docker, CI/CD, микросервисной и событийной архитектуры.
Культура и преимущества
- Фиксированный оклад и квартальные премии.
- Работа в аккредитованной ИТ-компании.
- Обучение и поддержка команды.
- Возможность развиваться на пересечении QA, автоматизации и генеративного ИИ.
Процесс найма
- В отклике необходимо ответить на три технических вопроса о применении LLM и написать пример автотеста или Python-скрипта.
- Отклики без ответов на вопросы рассматриваются во вторую очередь.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →