Не получаете ответ?
Вакансия опубликована 13 дн. назад - шансы на ответ снижаются.
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Аналитик (AI) (Поиск и метрики качества): Разработка критериев перехода от ручной разметки к ML- и LLM-разметке, а также внедрение этой разметки в пайплайны обучения моделей Поиска и Алисы с акцентом на оценку качества ответов и оптимизацию затрат. Фокус на применении RAG, анализе сложных случаев и улучшении метрик качества поискового продукта.
Локация: не указана
Компания
Яндекс развивает Поиск с Алисой — технологический продукт, которым ежемесячно пользуются более 110 миллионов человек.
Что делать
- Разрабатывать количественные и качественные критерии перехода от ручной разметки к ML-разметке.
- Определять условия частичного перехода от краудсорсинга к моделям для сложных проектов.
- Внедрять LLM-разметку в пайплайны обучения продакшен-моделей Поиска и Алисы в Поиске.
- Анализировать и улучшать качество разметки ответов Поиска.
- Искать способы оптимизации разметки с использованием внешней информации, включая RAG, и экспертов для сложных случаев.
Требования
- Опыт работы с данными и аналитический склад ума.
- Хорошее знание Python и SQL для анализа и обработки данных.
- Понимание принципов работы современных языковых моделей (LLM).
- Умение оценивать качество ML-моделей и интерпретировать метрики.
- Способность формулировать требования к инструментам и системам, ясно излагать мысли и убеждать коллег.
- Опыт работы от 3 лет.
Хорошо, если есть
- Опыт работы с крауд-платформами, включая Яндекс Задания, Толоку, MTurk или аналоги.
- Участие в разработке или настройке языковых моделей.
- Знание промпт-инжиниринга для генеративных моделей.
- Опыт оптимизации процессов или сокращения расходов.
- Понимание специфики разметки данных для поисковых систем.
Культура и преимущества
- Работа в команде, развивающей метрики качества одного из крупнейших технологических продуктов Яндекса.
- Возможность влиять на развитие Поиска и качество ответов, включая генеративные ответы.
- Использование современных ИИ-инструментов, LLM-агентов и ML-моделей.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →