Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Аналитик-разработчик (AI/e-commerce): развитие еком-агентов Алисы на базе LLM, VLM, классического ML и инфраструктуры Поиска с акцентом на продуктовую аналитику, эксперименты и автоматизированную оценку качества. Focus on построение eval-пайплайнов, создание датасетов и метрик, анализ пользовательских логов и доведение решений до продакшена.
Локация: гибридный формат работы
Компания
Yandex развивает еком-агентов Алисы, которые помогают пользователям выбирать товары и принимать решения о покупке в чат-интерфейсе.
Что делать
- Находить точки роста еком-агентов, формулировать гипотезы и проводить полный цикл экспериментов.
- Проектировать и поддерживать автоматизированные eval-пайплайны для оценки качества AI-агентов.
- Создавать golden datasets, критерии качества и инструкции для разметки.
- Строить пайплайны на основе LLM-as-a-judge, автоматизировать разметку и анализировать асессорские оценки.
- Исследовать связь между офлайн-оценками, поведением пользователей и онлайн-метриками.
- Развивать витрины, метрики, документацию, lineage и инструменты аналитики, понятные AI-системам.
Требования
- От 3 лет опыта.
- Уверенное владение Python и SQL.
- Опыт работы с большими объёмами событийных данных и логами разных сервисов.
- Опыт разработки пайплайнов обработки данных и работы с инструментами оркестрации, например Airflow.
- Умение находить и исправлять проблемы качества данных.
- Понимание принципов работы LLM-систем, AI-агентов и классического ML, а также готовность самостоятельно доводить задачи до продакшена.
Хорошо, если есть
- Опыт проведения A/B-экспериментов.
- Опыт работы с LLM-as-a-judge, разметкой данных или оценкой качества генеративных моделей.
Культура и преимущества
- Работа в небольшой команде с коротким путём от идеи до реализации.
- Влияние на продуктовые приоритеты, метрики, аналитическую систему и технические решения.
- Взаимодействие с продуктовыми, инженерными, ML- и аналитическими командами.
- Использование AI-assisted development tools и агентских coding-workflow.
- Работа над молодым и быстро развивающимся направлением с прямым влиянием на пользовательский опыт.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →