Analyst Developer (AI)

TL;DR

Аналитик-разработчик (AI): Совершенствование системы контроля качества для обучения больших языковых моделей с акцентом на прозрачность метрик, справедливость вознаграждения AI-тренеров и устойчивость к фроду. Фокус на выстраивании прозрачных систем метрик, улучшении пользовательского опыта для AI-тренеров и заказчиков разметок, а также приведении метрик качества к единому знаменателю.

Локация: Работа в российских офисах Яндекса

Компания

hirify.global — технологическая компания, занимающаяся развитием поисковых систем, ИИ и других интернет-сервисов.

Что делать

• Разрабатывать прозрачную систему верхнеуровневых метрик для оценки работы AI-тренеров.
• Взаимодействовать с заказчиками разметок и AI-тренерами для выявления узких мест и улучшения процессов контроля качества.
• Приводить метрики качества различных разметок к единому знаменателю для обеспечения сравнимости результатов.
• Разрабатывать подходы к единообразной оценке производительности для разнообразных задач AI-тренеров.

Требования

• Работа в российских офисах Яндекса.
• Уверенное владение Python и SQL.
• Знание математической статистики и теории вероятностей.
• Навыки формализации требований и ожиданий заказчиков.
• Самостоятельность и готовность решать новые задачи.

Хорошо, если есть

• Опыт работы с системами контроля качества.
• Опыт работы с BI-инструментами.
• Навыки создания точных и эффективных промптов для генеративных нейросетей.

Культура и преимущества

• Расширенная медицинская страховка (включая стоматологию, чекапы, лечение критических заболеваний) для сотрудников и со-оплата для родственников.
• Гибкий график работы.
• Возможности для обучения и развития: внутренняя платформа, менторство, оплата конференций.
• Спортивные залы в офисах, скидки в фитнес-клубах и участие в спортивных командах.
• Льготные жилищные займы для сотрудников российских офисов.
• Поддержка семей: страхование детей, детские дни в офисе, подарки и чекапы.