QA Engineer (AI/ML)

TL;DR

QA Engineer (AI/ML): Тестирование AI/ML-компонентов и RAG-пайплайнов с акцентом на метрики качества LLM и работу с агентскими системами. Фокус на оценке релевантности ответов, groundedness и обеспечении стабильности высоконагруженных систем.

Локация: Москва (гибрид или офис)

Компания

Лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур.

Что делать

• Тестировать AI/ML-компоненты и сервисы.
• Работать с RAG-пайплайнами и оценивать качество retrieval (Hit Rate, MRR, NDCG@K).
• Анализировать релевантность ответов и groundedness LLM.
• Тестировать агентские системы и работать с MCP.
• Проверять качество работы REST API и SQL-запросов.

Требования

• Опыт тестирования AI/ML-сервисов.
• Владение Python, SQL и REST API.
• Опыт работы с фреймворками LangChain, LlamaIndex, RAGAS или Langfuse.
• Знание метрик оценки LLM.
• Локация: Москва

Хорошо, если есть

• Опыт работы с Postman, Selenium, PyTest.
• Навыки тестирования ИБ: prompt injection, jailbreak, проверка утечек PII.
• Опыт оценки экономической эффективности (token usage, cost per request).
• Опыт интеграционного тестирования с AD, MS SharePoint, Confluence.

Культура и преимущества

• Современный офис у м. Алексеевская с фитнес-центром, столовой и медицинским кабинетом.
• Стабильный «белый» доход и ДМС для сотрудника и членов семьи.
• Работа в аккредитованной ИТ-компании (отсрочка от мобилизации).
• Профессиональное развитие через внутренний проект «Лекторий Rubytech».
• Активные спортивные комьюнити (футбол, волейбол, баскетбол, шахматы).