Аналитик-разработчик (ML/LLM)

Локация: удалённая работа, офис или гибридный формат

Компания

Yandex развивает Алису — голосового ассистента, которым ежедневно пользуются миллионы людей.

Что делать

• Разрабатывать и внедрять систему LLM-as-a-judge для автоматической оценки ответов моделей.
• Создавать надёжные пайплайны обработки текстовых и мультимодальных данных для обучения и оценки.
• Разрабатывать единую систему офлайн-метрик и end-to-end-метрик качества Алисы.
• Определять критерии качества и находить данные для оценки моделей и продукта.
• Интегрировать инструменты и метрики в продакшен-процессы ML-разработчиков и аналитиков.

Требования

• От 3 лет опыта.
• Уверенное владение SQL, Python и Pandas.
• Знание теории вероятностей и математической статистики.
• Умение писать аналитический продакшен-код и создавать инструкции.
• Навыки анализа и построения эффективных процессов обработки данных.
• Инициативность и способность самостоятельно находить решения.

Хорошо, если есть

• Опыт работы с NLP.
• Опыт работы с краудсорсинговыми разметками и ML.

Культура и преимущества

• Возможность работать удалённо, в офисе или в гибридном формате.
• Работа над системами оценки передовых LLM и агентских моделей.
• Влияние на развитие Алисы и качество реального пользовательского продукта.