Data Analyst (умность Алисы)

Локация: Москва, гибридный формат с работой в офисе

Компания

Развитие Алисы — популярного голосового ассистента с LLM-архитектурой, tool calling и интеграцией с умными устройствами.

Что делать

• Анализировать качество работы LLM, пользовательские сценарии, проблемные кейсы, ошибки и DSAT.
• Искать закономерности в больших объёмах логов и событийных данных с помощью data mining.
• Формировать гипотезы по улучшению качества модели и оценивать их влияние на пользовательский опыт.
• Участвовать в масштабировании сценариев Алисы через tool calling, проектировании инструментов и сборе данных для обучения и приёмки моделей.
• Развивать eval-наборы, офлайн- и онлайн-метрики, LLM-as-a-judge, сценарные оценки и A/B-эксперименты.
• Создавать аналитические дашборды и мониторинг деградаций качества AI-ассистента.

Требования

• От двух-трёх лет опыта в роли Data Analyst, Product Analyst или Analyst в data-driven-продукте.
• Практический опыт работы с LLM или Generative AI и интерес к созданию AI-систем.
• Уверенное владение SQL и Python для анализа данных.
• Опыт работы с большими объёмами логов и событийных данных.
• Знание продуктовой аналитики, статистики и A/B-тестирования.
• Умение формулировать продуктовые гипотезы, оценивать их эффект и разбираться в сложных многокомпонентных продуктах.

Хорошо, если есть

• Опыт работы с LLM-based-продуктами или AI-ассистентами.
• Опыт оценки качества LLM, включая LLM-as-a-judge, evals и RAG.
• Знание Agentic AI и tool calling.
• Опыт построения дашбордов в Tableau, DataLens или Superset.
• Опыт работы с NLP/NLU-продуктами, голосовыми ассистентами, неструктурированными данными и текстовыми логами.

Культура и преимущества

• Работа над технологиями Алисы и архитектурой на основе больших языковых моделей.
• Возможность влиять на качество, полезность, надёжность и эмпатию AI-ассистента.
• Гибридный формат работы в московском офисе.