Аналитик-разработчик в службу AI-оптимизации

Локация: Москва, Санкт-Петербург или Ереван; офисный или гибридный формат

Компания

Yandex развивает Поиск и системы оценки качества поискового ранжирования.

Что делать

• Разрабатывать методологию замены ручной разметки AI-агентами и большими языковыми моделями.
• Создавать бенчмарки и методики валидации качества автоматизированных сигналов.
• Оценивать LLM в роли судьи релевантности, выявлять системные ошибки и калибровать выводы.
• Проектировать офлайн- и онлайн-эксперименты для исследования влияния изменений на ранжирование.
• Готовить и проводить A/B-тесты на реальном поисковом трафике, находить проблемы в отдельных срезах и предлагать способы их исправления.

Требования

• От 3 лет опыта на стыке аналитики и разработки.
• Уверенное владение SQL и Python, включая pandas и NumPy.
• Опыт построения офлайн-метрик и статистических выводов.
• Понимание принципов машинного обучения и метрик precision, recall и NDCG.
• Опыт с LLM или понимание промпт-инжиниринга и оценки качества генерации.
• Знание A/B-тестирования, офлайн-симуляций и методов обеспечения статистической значимости.

Культура и преимущества

• Работа на стыке аналитики, разработки и методологии.
• Возможность влиять на развитие Поиска и качество ранжирования.
• Переход от офлайн-экспериментов к полноценным онлайн-тестам.