ML Analyst (LLM)

TL;DR

ML-аналитик (LLM): Улучшение качества и развитие функциональности языковых моделей Алисы с акцентом на анализ данных, оценку моделей и построение пайплайнов обучения. Фокус на промпт-инжиниринге, разработке метрик качества ответов и автоматизации процессов оценки через LLM-as-a-Judge.

Локация: Работа в российских офисах Яндекса.

Компания

Крупнейшая российская технологическая компания, развивающая поисковые, облачные и AI-продукты, включая интеллектуального ассистента Алиса.

Что делать

• Анализировать ответы моделей, выявлять типичные ошибки и точки роста для улучшения качества агентов.
• Участвовать в приёмке новых версий моделей, проводить эксперименты и сравнивать их по ключевым метрикам.
• Формировать задания на разметку данных, контролировать качество и подготавливать обучающие датасеты.
• Разрабатывать и внедрять инструменты автоматической оценки качества ответов (LLM-as-a-Judge).
• Писать аналитические скрипты на Python для обработки данных и проверки гипотез.

Требования

• Уверенное владение Python и опыт работы с данными.
• Опыт работы с текстовыми данными или задачами NLP.
• Понимание статистических методов анализа экспериментов.
• Навыки подготовки и структурирования датасетов.
• Внимательность к деталям и способность работать с большими объёмами данных.
• Способность разбираться в сложных системах и находить причины ошибок.

Хорошо, если есть

• Опыт работы с LLM или генеративными моделями.
• Опыт управления процессами разметки данных.
• Опыт построения evaluation-пайплайнов для моделей.

Культура и преимущества

• Расширенная программа ДМС с первого месяца (включая стоматологию и помощь за рубежом).
• Гибкий график начала и окончания рабочего дня.
• Доступ к корпоративной платформе обучения, менторству и оплата профильных конференций.
• Спортивный клуб, собственные тренеры и команды по разным видам спорта.
• Льготные жилищные займы для сотрудников российских офисов.