Аналитик-разработчик (AI)

🙂 Аналитик-разработчик AliceAI (образование)

Вакансия участвует в Weekend Offer Analytics 6–7 июня. Узнать больше.

Наша команда занимается развитием большой языковой модели Яндекса Alice AI. Мы хотим, чтобы Алиса возглавила топ ассистентов в России, ежедневно помогала пользователям в учёбе и работе, дружелюбно поддерживала беседу. Для этого мы формулируем ключевые продуктовые аспекты ответов, а потом переводим их в метрики и готовим данные, необходимые для роста качества.

Отдельный большой трек для нас сейчас — работа над качеством ответов на срезе образования. Мы стремимся сделать Алису ещё полезнее для школьников, чтобы она не только помогала решать домашние задания, но и понятно и грамотно объясняла. Сейчас наши главные фокусы — это математика, русский и английский языки, история и литература, но об остальных предметах тоже не забываем. Верим, что в этом домене мы сможем догнать и перегнать наших главных мировых конкурентов.

Какие задачи вас ждут:

• Создание метрик качества
Одна из главных задач — оценивать качество модели. Для этого мы используем разные подходы: от бенчмарков и LLM-as-a-judge до краудсорсинга и высококвалифицированных AI-тренеров. Вам предстоит формулировать критерии, экспериментировать с подходами и создавать стабильные метрики, по которым можно улучшаться.

• Анализ проблемных срезов
Задача аналитика — проактивно искать проблемы, с которыми модель пока не справляется, и вместе с командой разработки придумывать план решения, готовить данные для обучения моделей, а потом оценивать эффективность изменений.

• Сбор данных
Хорошие данные — это очень важно. Вам предстоит искать качественные источники инстрактов для обучения и валидации, находить проблемы в имеющихся данных, формулировать критерии эталонных ответов и пристально следить за соблюдением этих критериев.

Мы ждем, что вы:
• Работали над метриками в ML
• Уверенно владеете SQL и Python
• Любите и умеете анализировать текстовые данные, строили эффективные процессы их обработки
• Знаете теорию вероятностей и математическую статистику
• Самостоятельны и готовы браться за новые задачи, для которых нет готового решения
• Интересуетесь развитием LLM и хотели бы погрузиться в эту тему

Будет плюсом, если вы:
• Имеете опыт работы с LLM
• Работали с Толокой или другими краудсорс-платформами

📩 Откликайтесь на вакансию на нашем сайте

#SQL #python #ML #алиса_AI