TL;DR

Аналитик-разработчик AliceAI (AI, Образование): Разработка и создание метрик качества для большой языковой модели Алисы с акцентом на образовательный сегмент, анализ проблемных срезов и сбор данных для обучения моделей. Фокус на формулировании критериев, экспериментировании с подходами оценки качества и поиске проблемных областей в ответах модели.

Локация: Работа в российских офисах Яндекса.

Компания

%hirify_global% — это крупная продуктовая компания, занимающаяся развитием большой языковой модели Alice AI, стремящаяся сделать её ведущим ассистентом в России.

Что делать

Создавать стабильные метрики качества для оценки модели, экспериментируя с различными подходами (бенчмарки, LLM-as-a-judge, краудсорсинг).
Проактивно искать проблемные срезы модели и совместно с командой разработки придумывать планы решений.
Готовить данные для обучения моделей и оценивать эффективность внесенных изменений.
Искать качественные источники инстрактов для обучения и валидации, а также контролировать соблюдение критериев эталонных ответов.

Требования

Опыт работы над метриками в ML.
Уверенное владение SQL и Python.
Опыт анализа текстовых данных и построения эффективных процессов их обработки.
Знание теории вероятностей и математической статистики.
Самостоятельность и готовность браться за новые задачи, для которых нет готового решения.
Интерес к развитию LLM.

Хорошо, если есть

Опыт работы с LLM.
Опыт работы с Толокой или другими краудсорс-платформами.

Культура и преимущества

Расширенная медицинская страховка (стоматология, чекапы, неотложная помощь за рубежом, лечение критических заболеваний) с первого месяца работы.
Психотерапия в офисе или онлайн-сервисах, лазерная коррекция зрения (через год работы), ведение беременности и роды (через два года).
Мы оплачиваем 80% стоимости ДМС для детей и супругов.
Внутренняя образовательная платформа, менторство, оплата участия в профильных конференциях.
Спортзалы во всех крупных офисах, скидки в фитнес-клубах, спортивный клуб Яндекса.
Гибкий график работы.
Льготные жилищные займы для сотрудников, работающих в российских офисах Яндекса.
Страхование, детские дни в офисе, подарки на рождение детей и чекапы при планировании беременности.

Analyst Developer AliceAI (Education)