Назад
1 день назад

Дата-аналитик (AI)

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
RUВакансия из Hirify RU, списка российских tech-компаний

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Дата-аналитик (AI): Исследование качества генеративных моделей, поиска, AI-агентов и пользовательских сценариев с акцентом на разработку метрик, бенчмарков и оценку LLM. Focus on анализ больших объёмов данных, проектирование A/B-тестов и офлайн-экспериментов, а также измерение влияния изменений на продукт.

Формат работы: гибридный офис.

Компания

Yandex развивает AI-продукты, поиск, электронную коммерцию, Алису и умные устройства.

Что делать

  • Оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM.
  • Анализировать данные и координировать процессы разметки.
  • Оценивать качество ранжирования, быстрых ответов, ответов Алисы и других AI-сценариев.
  • Исследовать работу AI-агентов, пользовательские и транзакционные сценарии, органическое ранжирование и путь пользователя в e-commerce.
  • Проводить исследования полного цикла: определять ценность для пользователей, измерять эффект изменений и связывать результаты с развитием продукта.

Требования

  • Уверенное владение Python и SQL или YQL; самостоятельная работа с большими объёмами данных.
  • Знание теории вероятностей, математической статистики и методов проверки гипотез.
  • Умение проектировать и интерпретировать A/B-тесты и офлайн-эксперименты.
  • Опыт работы с машинным обучением, понимание устройства ML-моделей и метрик их качества.
  • Умение формализовать исследовательский вопрос, обосновывать выбор метрик, проверять их валидность и объяснять аномалии.
  • Опыт самостоятельного проведения исследований полного цикла и подготовки обоснованных выводов.

Хорошо, если есть

  • Опыт работы с LLM, оценкой качества генерации или другими AI-системами.
  • Опыт работы с большими объёмами событийных данных и текстовых логов.
  • Опыт работы с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик.
  • Опыт проектирования офлайн-метрик, бенчмарков или систем оценки качества моделей и продуктов.
  • Опыт автоматизации аналитических процессов, разработки и поддержки собственных инструментов или пайплайнов.

Культура и преимущества

  • Гибридный формат работы в офисе.
  • Возможность работать с AI на сложных сценариях и видеть эффект исследований в продукте.
  • Использование LLM-агентов для поиска и обработки данных, оптимизации скриптов и анализа дашбордов.

Процесс найма

  • Обсуждение опыта и интересов.
  • Технические секции и встречи с подходящими командами.
  • После успешного прохождения этапов — обсуждение предложения о работе.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →