Назад

Научный сотрудник (Data Scientist)

Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Научный сотрудник (Data Scientist) (LLM и Python): Разработка агентной системы и инструментов для объективной оценки качества с акцентом на evals для LLM-агентов, датасеты, метрики и наблюдаемость. Focus on калибровке автоматических оценок, анализе traces, диагностике проблем в распределённых сервисах и построении надёжной Python-инфраструктуры.

Локация: Санкт-Петербург, Выборгская набережная, 45Е; работа удалённо

Компания

ЦРТ — аккредитованная IT-компания, развивающая агентную систему и инструменты для объективной оценки её качества совместно с научной командой.

Что делать

  • Проектировать evals для LLM-агентов, tool calling, поиска и итоговых ответов, определяя единицы оценки: ответы, вызовы инструментов, traces/trajectories и итоговые артефакты.
  • Создавать тестовые датасеты, разметку и ground truth; разрабатывать детерминированные метрики и LLM-as-a-Judge evaluators.
  • Калибровать автоматические оценки на человеческой разметке, запускать эксперименты, выявлять регрессии и пробелы покрытия.
  • Работать с traces и наблюдаемостью в Langfuse, совместно определять quality gates для изменений агентов, моделей и промптов.
  • Развивать агентов, агентную платформу и Python-инфраструктуру, интегрируя её с API и внешними сервисами.
  • Диагностировать проблемы по коду, логам и traces; проектировать контракты данных, обработку ошибок, unit- и интеграционные тесты, участвовать в code review и работать с CI/CD и контейнерами.

Требования

  • От 3 до 6 лет опыта; production-разработка на Python с типизированным кодом, dataclasses или Pydantic и понятной декомпозицией модулей.
  • Практический опыт unit- и интеграционного тестирования, включая проверку ошибок и граничных случаев.
  • Понимание async/await, HTTP API и обработки сетевых ошибок; опыт сервисной или event-driven архитектуры.
  • Умение работать с незнакомой кодовой базой и находить причины проблем по коду, логам и трассам.
  • Git и командная разработка через code review.
  • Понимание принципов работы LLM и агентов, использующих инструменты.
  • Умение превращать продуктовые требования в проверяемые гипотезы и дизайн эксперимента.
  • Знание классификационных метрик и базовой статистики: precision/recall, срезы и уверенность в выводах.
  • Понимание различий между детерминированными проверками и LLM-as-a-Judge; умение фиксировать критерии приёмки и объяснять результаты разработчикам и владельцам продукта.

Хорошо, если есть

  • Опыт с Langfuse, Phoenix, LangSmith, Opik или другими платформами наблюдаемости и оценки LLM-систем.
  • Опыт с RAG, поисковыми системами, агентными фреймворками, eval- и regression-pipelines.
  • Опыт с FastAPI, Pydantic, асинхронным Python, Docker, CI/CD, S3-совместимыми хранилищами, NATS или другими event-driven системами.
  • Опыт эксплуатации распределённых сервисов, разработки агентных инструментов и навыков, а также доработки вычислительного окружения агентов.
  • Опыт организации человеческой разметки, анализа согласованности экспертов и использования coding agents.

Культура и преимущества

  • Работа на переднем крае технологий совместно с научной командой и возможность влиять на архитектуру системы.
  • Оформление по ТК и белая заработная плата.
  • ДМС с первой недели работы и льготы аккредитованной IT-компании.
  • Компенсация обучения, корпоративная техника и всё необходимое для работы.
  • Благотворительные и эко-активности; доступен комфортный офис.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →