Инженер по качеству AI-агентов

Локация: Москва; удалённый формат работы, пятидневка, рабочие часы 9:00–18:00 или 10:00–19:00 по Москве.

Компания

Опен Сервис развивает Uklad AI — AI-платформу для автоматизации задач компаний с помощью цифровых AI-сотрудников, работающих с CRM, кассой, встречами, отчётами и другими инструментами.

Что делать

• Анализировать диалоги и результаты работы AI-агентов, находить случаи некорректного выполнения пользовательских задач.
• Выявлять первопричины ошибок, связанных с выбором инструментов, последовательностью действий и получением данных.
• Изменять код, отвечающий за выбор инструментов, выполнение задач и взаимодействие с ними.
• Писать тесты, запускать проверки на реальных и тестовых сценариях и сравнивать результаты до и после изменений.
• Анализировать метрики и статистику ошибок, развивать систему автоматической оценки качества AI с помощью AI-судьи.
• Работать напрямую с основателем, определять приоритеты и показывать результаты.

Требования

• От 1 года до 3 лет опыта.
• Опыт разработки на TypeScript или Node.js и способность самостоятельно читать и изменять код backend-приложений.
• Умение работать с SQL и базами данных, анализировать логи, находить закономерности и собирать статистику.
• Понимание LLM и AI-агентов, включая Tool Calling и принципы выбора инструментов моделями.
• Опыт написания автоматических тестов и проверки качества программных систем.
• Умение работать с метриками, находить первопричины технических проблем и предлагать системные решения.
• Позиция предполагает самостоятельную работу с кодом; опыт только в написании промптов или ручном тестировании без навыков разработки не подходит.

Хорошо, если есть

• Опыт работы с AI-агентами и LLM.
• Опыт построения систем автоматической оценки качества AI, включая LLM-as-a-Judge и Evals.
• Опыт работы с PostgreSQL и SQLite.
• Опыт настройки мониторинга и анализа backend-систем.

Культура и преимущества

• Удалённая работа, полная занятость и пятидневная рабочая неделя.
• Работа над реальным AI-продуктом, используемым действующим бизнесом.
• Прямое взаимодействие с основателем и возможность влиять на техническое развитие продукта.
• Высокая самостоятельность и ответственность за качество работы AI-агентов.
• Развитие на стыке backend-разработки, автоматизированного тестирования и AI-технологий.
• Доход обсуждается индивидуально с учётом опыта и ожиданий.

Процесс найма

• В сопроводительном письме описать одно внедрённое техническое улучшение: проблему, внесённые изменения и способ измерения эффективности результата.