TL;DR

Аналитик-разработчик (AI, LLM): Создание правил и метрик для детекции качества ответов приложения %hirify_global% AI, а также разработка систем LLM-as-Judge и управление краудсорс-проектами по разметке данных. Фокус на проектировании методологий оценки, обеспечении надёжного хранения и обработки больших объёмов данных разметки и интеграции автоматизированных методов оценки качества.

Локация: Требуется работать в российских офисах Яндекса.

Компания

%hirify_global% AI — это продукт Яндекса, ориентированный на создание интеллектуального помощника нового поколения, способного решать задачи пользователя на месте, без необходимости переходить куда-либо.

Что делать

Управлять редакторами и системой качества в краудсорс-проекте, обеспечивая выполнение плана по разметке.
Проектировать и внедрять методологии оценки, разрабатывать инструменты контроля качества и системы измерения эффективности исполнителей.
Обеспечивать надёжное хранение, обработку и доступность данных разметки, включая ETL-процессы.
Развивать системы LLM-as-Judge, оценивать их надёжность и интегрировать получаемые сигналы в процессы дообучения моделей.

Требования

Писать на Python и SQL.
Знать математическую статистику и теорию вероятностей.
Любить работать с данными и уметь извлекать из них практический результат.
Уметь эффективно общаться в команде, ясно излагать мысли и убеждать коллег.
Быть готовым разбираться в том, как и почему должен работать продукт.

Хорошо, если есть

Опыт работы с Толокой или другими краудсорс-платформами.
Опыт написания инструкций и самостоятельного запуска проектов разметки данных.
Знание принципов функционирования и разработки LLM.
Продвинутые навыки промпт-инжиниринга.

Культура и преимущества

Расширенная медицинская страховка (ДМС) с первого месяца, включающая стоматологию, чекапы и неотложную помощь за рубежом.
Страхование для детей и супругов по системе 80/20.
Возможности для роста и развития: внутренняя образовательная платформа, менторство, оплата участия в профильных конференциях.
Спортзалы во всех крупных офисах, корпоративные тренеры и скидки в фитнес-клубы, а также спортивный клуб Яндекса.
Гибкий график работы без фиксированного начала и конца рабочего дня.
Льготные жилищные займы для сотрудников, работающих в российских офисах Яндекса.
Полный пакет поддержки для семей с детьми: страхование, детские дни в офисе, подарки и чекапы.

Analyst-Developer (AI, LLM)