Роль чётко сфокусирована на быстро развивающемся направлении AI и включает практическую разработку систем оценки LLM, RAG и агентов; среди плюсов также есть условия для профессионального развития.
Актуальное направление
Современные технологии
Развитие и обучение
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
LLM Data Evaluation Engineer (LLM/RAG/AI): Построение и развитие системы оценки качества LLM, RAG и агентных систем, включая тестовые наборы, метрики, автоматические прогоны, регрессионное тестирование и пайплайны обработки документов с OCR с акцентом на надежность оценивания и подготовку данных для дообучения. Focus on калибровке LLM-as-a-judge, анализе траекторий агентов, статистической проверке результатов и создании production-пайплайнов на Python и SQL.
Локация: Москва; гибридный формат работы, адрес: Кутузовский проспект, 32к3.
Занятость: полная. Опыт: от 3 до 6 лет.
Компания
СБЕР развивает AI/GenAI для трансформации государственного управления и национального развития, а также организует мероприятие AIJourney.
Что делать
Строить и развивать системы оценки качества LLM, RAG и агентных систем: тестовые наборы, метрики, автоматические прогоны и отчёты.
Проводить регрессионное тестирование в CI при изменении моделей, промптов и настроек, контролировать качество перед релизами и демонстрациями.
Опыт оценки агентных систем или многошаговых сценариев.
Знание прикладной статистики: доверительные интервалы, значимость различий и размер выборки.
Опыт обработки реальных документов в production, включая OCR.
Python на уровне production-кода и уверенное владение SQL.
Опыт оркестрации пайплайнов с Airflow, Prefect, Dagster или аналогами, а также версионирования данных и трекинга экспериментов с DVC, MLflow или аналогами.
Хорошо, если есть
Опыт работы с юридическими, нормативными или канцелярскими текстами на русском языке.
Знание классического NLP: NER, классификация и извлечение сущностей.
Опыт работы с русскоязычными бенчмарками.
Опыт работы с персональными данными по 152-ФЗ.
Знание Elasticsearch, OpenSearch или векторных баз данных.
Культура и преимущества
Ежегодный пересмотр зарплаты и годовая премия.
Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
Подписка Прайм с возможностью совместного использования с тремя близкими.
Вознаграждение за рекомендацию друзей в команду Сбера.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →