Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior Data Analyst (AI/Fintech): Разработка и внедрение метрик оценки ответов AI-агентов и автоматизация бизнес-процессов с использованием GenAI с акцентом на анализ галлюцинаций LLM и оптимизацию мультиагентных систем. Фокус на проведении A/B-экспериментов с промптами, генерации синтетических датасетов и построении сложных LLM-пайплайнов.
Локация: Москва (гибридный формат работы)
Зарплата: 300 000 — 450 000 ₽/мес на руки
Компания
Команда разработки прикладных сервисов СберБизнес, создающая мультиагентные системы на базе искусственного интеллекта для цифрового банкинга.
Что делать
- Разрабатывать и внедрять кастомные метрики оценки ответов агентов (точность, полнота, LLM-as-a-judge).
- Проводить структурный анализ ошибок, выявляя паттерны галлюцинаций и деградации качества.
- Планировать и проводить A/B-эксперименты для сравнения версий промптов, моделей и архитектур агентов.
- Генерировать синтетические датасеты для тестирования и дообучения AI-агентов.
- Формализовывать требования к качеству и интегрировать метрики в систему глобального мониторинга.
- Готовить аналитические отчеты с конкретными рекомендациями по улучшению сервиса.
Требования
- Опыт работы аналитиком данных от 1 года.
- Глубокие знания математической статистики, теории вероятностей и дизайна A/B-тестов.
- Продвинутый SQL и уверенное владение Python (pandas, NumPy, SciPy, matplotlib).
- Опыт проведения исследований, проверки гипотез и формулировки actionable-выводов.
- Понимание устройства мультиагентных систем или сложных LLM-пайплайнов (RAG, оркестрация).
- Локация: Москва
Хорошо, если есть
- Опыт работы с LLM-фреймворками (LangChain, AutoGen, CrewAI, LlamaIndex).
- Навыки системного промпт-инжиниринга (управление структурой JSON, цепочки рассуждений).
- Знакомство с Big Data стеком (Hadoop, Spark) и векторными базами данных.
- Опыт в банковской сфере или fintech-проектах.
- Владение Git, bash/Linux, Jira, Confluence.
Культура и преимущества
- Гибридный график работы и современный офис на Кутузовском проспекте.
- Регулярный пересмотр заработной платы и годовые премии.
- Доступ к более чем 400 образовательным программам СберУниверситета.
- Расширенная медицинская страховка (ДМС) для сотрудника и членов семьи.
- Специальные ипотечные программы для сотрудников.
- Бесплатные подписки СберПрайм+ и бонусы от партнеров.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →