Назад
14 часов назад

LLM Data Evaluation Engineer

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
LLM Data Evaluation Engineer (LLM/RAG/AI): Построение и развитие системы оценки качества LLM, RAG и агентных систем, включая тестовые наборы, метрики, автоматические прогоны, регрессионное тестирование и пайплайны обработки документов с OCR с акцентом на надежность оценивания и подготовку данных для дообучения. Focus on калибровке LLM-as-a-judge, анализе траекторий агентов, статистической проверке результатов и создании production-пайплайнов на Python и SQL.

Локация: Москва; гибридный формат работы, адрес: Кутузовский проспект, 32к3.

Занятость: полная. Опыт: от 3 до 6 лет.

Компания

СБЕР развивает AI/GenAI для трансформации государственного управления и национального развития, а также организует мероприятие AIJourney.

Что делать

  • Строить и развивать системы оценки качества LLM, RAG и агентных систем: тестовые наборы, метрики, автоматические прогоны и отчёты.
  • Проводить регрессионное тестирование в CI при изменении моделей, промптов и настроек, контролировать качество перед релизами и демонстрациями.
  • Оценивать агентные траектории: успешность задач, ошибки вызова инструментов и лишние шаги.
  • Калибровать автоматическую оценку LLM-as-a-judge по экспертной разметке.
  • Строить пайплайны обработки PDF, сканов, OCR и таблиц с восстановлением структуры документов.
  • Готовить датасеты для дообучения, включая синтетические данные и траектории вызова инструментов.

Требования

  • От 3 лет опыта в Data Science, Data Engineering или ML, включая не менее 1 года работы с LLM-проектами.
  • Опыт построения с нуля системы оценки качества LLM или RAG.
  • Знание метрик поиска: recall@k, MRR, nDCG; и метрик ответов: faithfulness, полнота, корректность.
  • Опыт оценки агентных систем или многошаговых сценариев.
  • Знание прикладной статистики: доверительные интервалы, значимость различий и размер выборки.
  • Опыт обработки реальных документов в production, включая OCR.
  • Python на уровне production-кода и уверенное владение SQL.
  • Опыт оркестрации пайплайнов с Airflow, Prefect, Dagster или аналогами, а также версионирования данных и трекинга экспериментов с DVC, MLflow или аналогами.

Хорошо, если есть

  • Опыт работы с юридическими, нормативными или канцелярскими текстами на русском языке.
  • Знание классического NLP: NER, классификация и извлечение сущностей.
  • Опыт работы с русскоязычными бенчмарками.
  • Опыт работы с персональными данными по 152-ФЗ.
  • Знание Elasticsearch, OpenSearch или векторных баз данных.

Культура и преимущества

  • Ежегодный пересмотр зарплаты и годовая премия.
  • Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
  • Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
  • Подписка Прайм с возможностью совместного использования с тремя близкими.
  • Вознаграждение за рекомендацию друзей в команду Сбера.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →