aipythonsqldata analysisllmmachine learninga b testingmathematical statisticsyql
RUВакансия из Hirify RU, списка российских tech-компаний
Пожаловаться
Зарплата и рынок
ЗП не указанаразвернуть
На похожих ролях по рынку
$2.9к$3.6кмедиана$4.4к
18 в выборке
На международном рынке: $105к/год ($61к - $145к)
89
Крутая вакансия
развернуть
В Яндексе можно вести полный цикл аналитических исследований для актуальных AI-продуктов, разрабатывать методы оценки и видеть их влияние; работа охватывает несколько команд, поэтому конкретный фокус будет зависеть от распределения.
?Выбор команды
Актуальный стек
Работа с AI
Полный цикл исследований
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Дата-аналитик (AI): Исследование качества генеративных моделей, поиска, AI-агентов и пользовательских сценариев с акцентом на разработку метрик, бенчмарков и оценку LLM. Focus on анализ больших объёмов данных, проектирование A/B-тестов и офлайн-экспериментов, а также измерение влияния изменений на продукт.
Формат работы: гибридный офис.
Компания
Yandex развивает AI-продукты, поиск, электронную коммерцию, Алису и умные устройства.
Что делать
Оценивать достоверность и качество ответов генеративных моделей, разрабатывать метрики и подходы к оценке LLM.
Анализировать данные и координировать процессы разметки.
Оценивать качество ранжирования, быстрых ответов, ответов Алисы и других AI-сценариев.
Исследовать работу AI-агентов, пользовательские и транзакционные сценарии, органическое ранжирование и путь пользователя в e-commerce.
Проводить исследования полного цикла: определять ценность для пользователей, измерять эффект изменений и связывать результаты с развитием продукта.
Требования
Уверенное владение Python и SQL или YQL; самостоятельная работа с большими объёмами данных.
Знание теории вероятностей, математической статистики и методов проверки гипотез.
Умение проектировать и интерпретировать A/B-тесты и офлайн-эксперименты.
Опыт работы с машинным обучением, понимание устройства ML-моделей и метрик их качества.
Умение формализовать исследовательский вопрос, обосновывать выбор метрик, проверять их валидность и объяснять аномалии.
Опыт самостоятельного проведения исследований полного цикла и подготовки обоснованных выводов.
Хорошо, если есть
Опыт работы с LLM, оценкой качества генерации или другими AI-системами.
Опыт работы с большими объёмами событийных данных и текстовых логов.
Опыт работы с DWH, BI-инструментами, продуктовыми воронками или деревьями метрик.
Опыт проектирования офлайн-метрик, бенчмарков или систем оценки качества моделей и продуктов.
Опыт автоматизации аналитических процессов, разработки и поддержки собственных инструментов или пайплайнов.
Культура и преимущества
Гибридный формат работы в офисе.
Возможность работать с AI на сложных сценариях и видеть эффект исследований в продукте.
Использование LLM-агентов для поиска и обработки данных, оптимизации скриптов и анализа дашбордов.
Процесс найма
Обсуждение опыта и интересов.
Технические секции и встречи с подходящими командами.
После успешного прохождения этапов — обсуждение предложения о работе.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →