Senior QA-инженер (AI / Automation)

Локация: Алматы, проспект Аль-Фараби, 38; гибридный формат работы

Компания

Банк ЦентрКредит развивает AI-решения для ключевых банковских процессов.

Что делать

• Разрабатывать и поддерживать стандарты тестирования LLM и AI-агентов, а также требования QA к модельной политике банка.
• Строить pipeline оценки LLM-систем с использованием LLM-as-judge, автоматических метрик, проверки галлюцинаций, PII-утечек и формата ответов.
• Проводить red-team и adversarial-тестирование AI-агентов и AI-based систем.
• Настраивать регрессионное тестирование промптов и пайплайнов при обновлении моделей.
• Внедрять мониторинг искажения данных и моделей, готовить Model Card и заключения о готовности проектов к промышленной эксплуатации.
• Участвовать в проектировании end-to-end AI-пайплайнов и QA-инструментов, а также взаимодействовать с разработчиками, стейкхолдерами и риск-подразделением.

Требования

• От 3 до 6 лет опыта.
• Опыт тестирования и обеспечения качества AI/ML-решений, включая LLM, AI-агентов и пайплайны.
• Практический опыт построения pipeline оценки с использованием LLM-as-judge, автоматических метрик и ручной экспертизы.
• Понимание оценки качества генерации, обнаружения галлюцинаций, PII-утечек и контроля формата ответов.
• Опыт red-team и adversarial-тестирования, мониторинга данных и моделей.
• Навыки системного анализа, готовность работать с регуляторными и риск-требованиями, опыт менторства и проведения технических интервью.

Культура и преимущества

• Гибридный формат работы в Алматы.
• Прямое взаимодействие с разработчиками, стейкхолдерами и риск-подразделением.
• Возможность участвовать в развитии стандартов QA для AI-решений банка.