ML-аналитик (AI)

Локация: Москва; доступны удалённый и гибридный форматы работы.

Компания

Яндекс Образование создаёт образовательные продукты и ИИ-инструменты для школьников, родителей, учителей и образовательного сообщества.

Что делать

• Разрабатывать систему оценки качества моделей для разных классов задач.
• Адаптировать открытые бенчмарки, создавать собственные методики и организовывать разметку данных внешними исполнителями.
• Проектировать и внедрять метрики для анализа собственных моделей и решений конкурентов в реальных сценариях.
• Строить процессы сбора данных для fine-tuning и RL совместно с экспертами-разметчиками.
• Отслеживать исследования, новые бенчмарки и датасеты, выбирая перспективные подходы для внедрения.

Требования

• От 5 лет опыта.
• Уверенное владение Python и SQL, знание основных аналитических библиотек.
• Понимание основ статистики и умение применять их на практике.
• Опыт проектирования процессов разметки для удалённых исполнителей.
• Понимание методов оценки сложных агентных ML-пайплайнов.
• Самостоятельность, внимательность к деталям и ориентация на результат.

Хорошо, если есть

• Опыт работы с Толокой или другими краудсорсинговыми платформами.
• Опыт организации разметки данных с привлечением внешних исполнителей.
• Опыт управления командой ML-аналитиков.