Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Аналитик-Разработчик (AI/LLM): Разработка систем оценки качества и сбор данных для развития большой языковой модели Alice AI LLM с акцентом на создание метрик и анализ проблемных срезов. Фокус на построении стабильных метрик качества, поиске качественных источников данных для обучения и валидации модели.
Локация: Гибрид, Москва (м. Парк Культуры)
Зарплата: 200 000 — 450 000 ₽/мес на руки
Компания
Яндекс — одна из крупнейших ИТ-компаний в России, развивающая самую популярную поисковую систему и экосистему пользовательских сервисов.
Что делать
- Создавать метрики качества модели, используя бенчмарки, LLM-as-a-judge и краудсорсинг.
- Проактивно искать проблемные области, с которыми модель не справляется, и разрабатывать планы их решения.
- Готовить данные для обучения моделей и оценивать эффективность внесенных изменений.
- Поиск качественных источников инстрактов для обучения и валидации.
- Формулировать критерии эталонных ответов и контролировать их соблюдение.
Требования
- Опыт работы с метриками в области Machine Learning.
- Уверенное владение SQL и Python.
- Навыки анализа текстовых данных и построения эффективных процессов их обработки.
- Знание теории вероятностей и математической статистики.
- Способность самостоятельно решать новые задачи, для которых нет готового решения.
- Интерес к развитию LLM и желание глубоко погрузиться в эту тему.
Хорошо, если есть
- Опыт работы с LLM.
- Опыт работы с Толокой или другими краудсорс-платформами.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →