1 день назад
QA Engineer (AI Platform)
hhВакансия с HeadHunter. Контакт ведёт на hh.ru
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
QA Engineer (AI Platform) (GenAI/LLM): Тестирование корпоративной AI-платформы, AI-ассистентов и AI-агентов с акцентом на REST API, RAG, MCP, Tool Calling и оценку качества ответов LLM. Focus on разработку тестовой документации, анализ логов и метрик, автоматизированную оценку AI и обеспечение качества интеграций и релизов.
Локация: Москва, м. Кутузовская; гибридный формат с работой в офисе работодателя.
Компания
Разработка корпоративной GenAI-платформы для AI-ассистентов и AI-агентов, интегрированных с CRM, внутренними ИТ-системами, корпоративными базами знаний, документами, LLM-моделями и внешними сервисами.
Что делать
- Проводить функциональное тестирование frontend, backend и AI-платформы.
- Готовить тест-планы, тест-кейсы и чек-листы.
- Тестировать REST API, интеграции с внутренними ИТ-системами, AI-ассистентов, агентские сценарии и работу с документами.
- Проверять качество ответов LLM, RAG, MCP и Tool Calling.
- Проводить ручную и автоматизированную оценку качества AI с использованием LLM-as-a-Judge.
- Анализировать логи, метрики и трассировки, локализовать дефекты и участвовать в повышении качества релизов.
Требования
- От 3 лет опыта работы QA Engineer и опыт ручного тестирования GenAI- и LLM-проектов.
- Опыт тестирования backend и frontend-приложений, REST API и интеграций.
- Навыки подготовки тест-кейсов, чек-листов и тест-планов.
- Опыт работы с SQL и базовый уровень Python.
- Опыт работы с LLM-приложениями, AI-агентами, LLM-платформами и RAG.
- Понимание CI/CD, участие в приемке релизов и опыт работы с Grafana, Prometheus или LangFuse.
Культура и преимущества
- Гибридный формат и современный офис в Москве.
- ДМС с первого дня и скидки на страхование для близких.
- Льготные ипотечные условия, корпоративная пенсионная программа и подписка Прайм.
- Детский отдых и подарки за счет компании.
- Обучение за счет компании: онлайн-курсы, библиотека, корпоративный университет, тренинги и митапы.
Процесс найма
- Первичный этап — интервью с AI-рекрутером ГигаРекрутером в Telegram, продолжительностью около 10 минут.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →