Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
QA Engineer (AI): Тестирование AI-продуктов и сервисов на уровнях UI, API, интеграций и сквозных бизнес-сценариев с акцентом на автоматизацию на Python, оценку качества RAG-систем и анализ нестандартных ответов AI. Focus on разработку API-, интеграционных и E2E-автотестов, интеграцию проверок в CI/CD и локализацию дефектов по логам и данным баз данных.
Локация: Санкт-Петербург, работа на месте работодателя
Компания
ИТ Контакт — технологичная финтех-компания, создающая цифровые платформы для упрощения процессов, снижения затрат и повышения безопасности сделок, связанных с приобретением жилья.
Что делать
- Тестировать AI-продукты и сервисы на уровнях UI, API, интеграций и сквозных бизнес-сценариев.
- Разрабатывать и поддерживать API-, интеграционные и E2E-автотесты на Python, интегрируя проверки в CI/CD.
- Проверять качество ответов AI, соблюдение инструкций, корректность вызова инструментов и обработку нестандартных сценариев.
- Оценивать качество RAG-систем, готовить тестовые наборы и анализировать метрики с помощью RAGAS.
- Анализировать логи, данные баз данных и результаты запросов для поиска и локализации дефектов.
- Участвовать в анализе требований, оценке рисков и развитии подходов к тестированию AI-продуктов.
Требования
- Опыт тестирования программного обеспечения от 3 лет, включая frontend- и backend-функциональность.
- Знание теории тестирования, техник тест-дизайна и подходов к обеспечению качества.
- Опыт автоматизации тестирования на Python с использованием pytest и Playwright.
- Опыт тестирования REST API, работы с OpenAPI/Swagger, SQL, реляционными базами данных и CI/CD.
- Опыт тестирования межсервисных интеграций, распределённых систем и обработки ошибок внешних зависимостей.
- Английский язык — уровень B1 или выше.
Хорошо, если есть
- Опыт тестирования AI-продуктов, LLM-приложений и AI-агентов.
- Опыт работы с RAGAS и метриками Faithfulness, Answer Relevancy, Context Precision и Context Recall.
- Опыт работы с брокерами сообщений, Docker и Kubernetes.
- Опыт нагрузочного тестирования и использования LLM-инструментов для автоматизации тестирования.
Культура и преимущества
- Аккредитованная IT-компания.
- Офис в центре Санкт-Петербурга.
- Предсказуемый график работы 5/2.
- Мультикультурная команда и общение на иностранных языках с коллегами и клиентами.
- Кафетерий льгот, сообщества по интересам, спортивные турниры и благотворительные программы.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →