Match & Cover letter
Will show your compatibility and write a letter
Job description
Text:
TL;DR
Senior Data Analyst (AI/Fintech): Разработка и внедрение метрик оценки ответов AI-агентов и автоматизация бизнес-процессов с использованием GenAI с акцентом на анализ галлюцинаций LLM и оптимизацию мультиагентных систем. Фокус на проведении A/B-экспериментов с промптами, генерации синтетических датасетов и построении сложных LLM-пайплайнов.
Локация: Москва (гибридный формат работы)
Зарплата: 300 000 — 450 000 ₽/мес на руки
Компания
Команда разработки прикладных сервисов СберБизнес, создающая мультиагентные системы на базе искусственного интеллекта для цифрового банкинга.
Что делать
- Разрабатывать и внедрять кастомные метрики оценки ответов агентов (точность, полнота, LLM-as-a-judge).
- Проводить структурный анализ ошибок, выявляя паттерны галлюцинаций и деградации качества.
- Планировать и проводить A/B-эксперименты для сравнения версий промптов, моделей и архитектур агентов.
- Генерировать синтетические датасеты для тестирования и дообучения AI-агентов.
- Формализовывать требования к качеству и интегрировать метрики в систему глобального мониторинга.
- Готовить аналитические отчеты с конкретными рекомендациями по улучшению сервиса.
Требования
- Опыт работы аналитиком данных от 1 года.
- Глубокие знания математической статистики, теории вероятностей и дизайна A/B-тестов.
- Продвинутый SQL и уверенное владение Python (pandas, NumPy, SciPy, matplotlib).
- Опыт проведения исследований, проверки гипотез и формулировки actionable-выводов.
- Понимание устройства мультиагентных систем или сложных LLM-пайплайнов (RAG, оркестрация).
- Локация: Москва
Хорошо, если есть
- Опыт работы с LLM-фреймворками (LangChain, AutoGen, CrewAI, LlamaIndex).
- Навыки системного промпт-инжиниринга (управление структурой JSON, цепочки рассуждений).
- Знакомство с Big Data стеком (Hadoop, Spark) и векторными базами данных.
- Опыт в банковской сфере или fintech-проектах.
- Владение Git, bash/Linux, Jira, Confluence.
Культура и преимущества
- Гибридный график работы и современный офис на Кутузовском проспекте.
- Регулярный пересмотр заработной платы и годовые премии.
- Доступ к более чем 400 образовательным программам СберУниверситета.
- Расширенная медицинская страховка (ДМС) для сотрудника и членов семьи.
- Специальные ипотечные программы для сотрудников.
- Бесплатные подписки СберПрайм+ и бонусы от партнеров.
Be careful: if the employer asks you to log into their system using iCloud/Google, send codes/passwords, or run code/software, don't do it - these are scammers. Always click "Report" or contact support. More in guide →
Similar vacancies
NDA
20 hours ago
Senior Data Analyst (Fintech)
340 000₽
NDA
2 hours ago
Senior Data Analytics Team Manager (AI/ML)
410 000₽
АВТОФОРМУЛА
9 days ago
Аналитик данных / Продуктовый аналитик (AI)
130 000 - 250 000₽
Агентство судебного взыскания
7 days ago
Аналитик данных (Legal Tech)
115 000₽
Secret Pool
11 days ago
Data Analyst (Финансовые модели), Secret Pool
Yandex
10 days ago