Хорошо структурированная роль в передовой области оценки LLM-агентов и инфраструктуры с четким техническим фокусом.
Трендовый домен
Современный стек
Четкие обязанности
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Научный сотрудник (Data Scientist) (LLM и Python): Разработка агентной системы и инструментов для объективной оценки качества с акцентом на evals для LLM-агентов, датасеты, метрики и наблюдаемость. Focus on калибровке автоматических оценок, анализе traces, диагностике проблем в распределённых сервисах и построении надёжной Python-инфраструктуры.
Локация: Санкт-Петербург, Выборгская набережная, 45Е; работа удалённо
Компания
ЦРТ — аккредитованная IT-компания, развивающая агентную систему и инструменты для объективной оценки её качества совместно с научной командой.
Что делать
Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов, определяя единицы оценки: ответы, вызовы инструментов, traces/trajectories и итоговые артефакты.
Создавать тестовые датасеты, разметку и ground truth; разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators.
Калибровать автоматические оценки на человеческой разметке, запускать эксперименты, выявлять регрессии и пробелы покрытия.
Работать с traces и наблюдаемостью в Langfuse, совместно определять quality gates для изменений агентов, моделей и промптов.
Развивать агентов, агентную платформу и Python-инфраструктуру, интегрируя её с API и внешними сервисами.
Диагностировать проблемы по коду, логам и traces; проектировать контракты данных, обработку ошибок, unit- и интеграционные тесты, участвовать в code review и работать с CI/CD и контейнерами.
Требования
От 3 до 6 лет опыта; production-разработка на Python с типизированным кодом, dataclasses или Pydantic и понятной декомпозицией модулей.
Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев.
Понимание async/await, HTTP API и обработки сетевых ошибок; опыт сервисной или event-driven архитектуры.
Умение работать с незнакомой кодовой базой и находить причины проблем по коду, логам и трассам.
Git и командная разработка через code review.
Понимание принципов работы LLM и агентов, использующих инструменты.
Умение превращать продуктовые требования в проверяемые гипотезы и дизайн эксперимента.
Знание классификационных метрик и базовой статистики: precision/recall, срезы и уверенность в выводах.
Понимание различий между детерминированными проверками и LLM-as-a-Judge; умение фиксировать критерии приёмки и объяснять результаты разработчикам и владельцам продукта.
Хорошо, если есть
Опыт с Langfuse, Phoenix, LangSmith, Opik или другими платформами наблюдаемости и оценки LLM-систем.
Опыт с RAG, поисковыми системами, агентными фреймворками, eval- и regression-pipelines.
Опыт с FastAPI, Pydantic, асинхронным Python, Docker, CI/CD, S3-совместимыми хранилищами, NATS или другими event-driven системами.
Опыт эксплуатации распределённых сервисов, разработки агентных инструментов и навыков, а также доработки вычислительного окружения агентов.
Опыт организации человеческой разметки, анализа согласованности экспертов и использования coding agents.
Культура и преимущества
Работа на переднем крае технологий совместно с научной командой и возможность влиять на архитектуру системы.
Оформление по ТК и белая заработная плата.
ДМС с первой недели работы и льготы аккредитованной IT-компании.
Компенсация обучения, корпоративная техника и всё необходимое для работы.
Благотворительные и эко-активности; доступен комфортный офис.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →