Аналитик-разработчик претрейна Alice AI LLM (AI)

TL;DR

Аналитик-разработчик претрейна Alice AI LLM (AI): создание и развитие системы метрик качества для претрейн-модели Alice AI LLM с акцентом на оценку качества на разных бенчмарках и интерпретацию результатов экспериментов. Фокус на анализе неожиданных/противоречивых выводов, поиске точек роста и поддержке команды разработки данными для принятия решений.

- Локация: не указана

Company

Команда hirify.global развивает аналитику и бенчмарки, которые лежат в основе Алисы, Поиска и других продуктов.

Что делать

• Создавать и развивать метрики качества претрейна Alice AI LLM и бенчмарки для всесторонней оценки модели.
• Оценивать качество модели на разных задачах и сценариях, включая агентские способности и работу на задачах сервисов Яндекса.
• Интерпретировать результаты экспериментов, помогать разбираться в неожиданных или противоречивых выводах.
• Анализировать точки роста модели, выявлять проблемы и формировать план дальнейших улучшений вместе с командой разработки.
• Поддерживать воспроизводимость исследований и использовать результаты свежих публикаций для улучшения подходов к оценке.

Требования

• Опыт работы с метриками в NLP.
• Уверенное владение SQL и Python.
• Умение анализировать данные и строить эффективные процессы их обработки.
• Знание теории вероятностей и математической статистики.
• Интерес к развитию LLM и желание погрузиться в эту тему.
• Самостоятельность и аккуратность.

Хорошо, если есть

• Опыт работы с LLM.
• Опыт построения агентских систем.
• Опыт крауд-разметок с системой контроля качества.
• Свободное чтение на английском.

Культура и преимущества

• Работа над быстрорастущим проектом Alice AI и взаимодействие с опытными ML-специалистами.
• Возможность запускать современные модели на мощных GPU-кластерах.
• Возможность воспроизводить исследования из свежих статей и предлагать новые подходы.
• Прямая связь результатов аналитики с тем, как ML-технологии становятся доступными пользователям.
• Поддержка команды экспертных AI-тренеров для сложных срезов данных.