Lead Data Analyst (RAG и LLM)

Локация: Москва, Россия, м. Кутузовская; гибридный формат работы.

Компания

Сбер развивает веб-поиск, RAG и агентов, способных решать сложные многошаговые задачи уровня BrowseComp.

Что делать

• Разрабатывать и проверять метрики качества поиска и ответов, включая nDCG, Recall@k и faithfulness.
• Оценивать статистическую значимость улучшений с помощью бутстрэпа по вопросам, анализа мощности и дисперсии между прогонами агентов.
• Калибровать LLM-судей на человеческой разметке, анализировать precision, recall и смещения по позиции, длине и self-preference.
• Создавать golden-сеты для многохоповых вопросов, обеспечивать однозначность ответов, цепочки доказательств и защиту от переобучения на бенчмарк.
• Разрабатывать метрики для отдельных шагов агентов, выявлять зацикливание и преждевременную остановку, строить кривую зависимости точности от бюджета.
• Разбирать потери по слоям: retrieval, извлечение фактов, рассуждение и формирование ответа; руководить небольшой сильной командой.

Требования

• Математическое, физическое или инженерное образование.
• 6+ лет опыта в аналитике или Data Science, включая 3+ года в оценке поиска, RAG или LLM.
• Опыт калибровки LLM-судьи.
• Уверенное владение статистикой, Python и SQL.

Хорошо, если есть

• Опыт работы с агентными бенчмарками BrowseComp, MuSiQue или GAIA.
• Собственный датасет или публикация по IR/NLP.

Культура и преимущества

• Задачи, для которых в индустрии пока нет устоявшихся решений.
• GPU и бюджет на ручную разметку.
• Возможность руководить небольшой сильной командой.