Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Аналитик-разработчик в команду ML-аналитики Алисы (Python/SQL/LLM): Построение систем оценки качества ответов LLM и агентских моделей, пайплайнов обработки текстовых и мультимодальных данных и end-to-end-метрик для Алисы с акцентом на автоматизацию аналитики и интеграцию решений в продакшен. Focus on разработку LLM-as-a-judge, создание качественных обучающих и оценочных датасетов, а также внедрение метрик в процессы ML-разработки.
Локация: гибридный формат, удалённая работа или офис.
Компания
Yandex развивает Алису — эмпатичного голосового ассистента, которым ежедневно пользуются миллионы людей.
Что делать
- Разрабатывать и внедрять систему LLM-as-a-judge для автоматической оценки ответов моделей.
- Создавать надёжные пайплайны обработки текстовых и мультимодальных данных для обучения и оценки.
- Разрабатывать общую систему offline-метрик и критериев качества для Алисы.
- Находить и подготавливать данные, необходимые для оценки качества продукта.
- Интегрировать инструменты и метрики в продакшен-процессы ML-разработчиков и аналитиков.
Требования
- Опыт от 3 лет.
- Уверенное владение SQL и Python, использование Pandas.
- Знание теории вероятностей и математической статистики.
- Умение писать аналитический production-код, создавать инструкции и видеть продукт или проект целиком.
- Навыки анализа и построения эффективных процессов обработки данных.
- Инициативность и готовность самостоятельно искать решения.
Хорошо, если есть
- Опыт работы с NLP.
- Опыт работы с краудсорсинговыми разметками и ML.
Культура и преимущества
- Доступны гибридный, удалённый и офисный форматы работы.
- Работа над системами оценки качества передовых LLM и агентских моделей.
- Возможность влиять на развитие Алисы и создание ассистента для решения сложных задач пользователей.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →