Data Analyst (AI)

TL;DR

Аналитик-разработчик (AI/LLM): разработка и внедрение технических бенчмарков для оценки агентских способностей Alice AI LLM с акцентом на проектирование пайплайнов данных и метрик качества. Фокус на создании инструментов для оценки рассуждений модели, работы с кодом и интеграции внешних инструментов.

Локация: Работа в офисах Яндекса в РФ.

Компания

hirify.global — ведущая технологическая компания, развивающая передовые ML-технологии и продукты, включая чат с Алисой.

Что делать

• Создавать сложные технические бенчмарки для оценки моделей в задачах с кодом и логическими рассуждениями.
• Разрабатывать метрики для оценки агентских способностей модели (выбор инструментов, цепочки вызовов).
• Проектировать пайплайны генерации синтетических данных и ставить задачи экспертным AI-тренерам.
• Экспериментировать с методами оценки, включая автоматические проверки и LLM-as-a-judge.
• Анализировать результаты разметки и внедрять системы контроля качества данных.

Требования

• Уверенное владение SQL и Python.
• Опыт анализа данных и построения эффективных процессов их обработки.
• Знание теории вероятностей и математической статистики.
• Интерес к развитию LLM и понимание принципов работы агентских систем.
• Самостоятельность в решении задач без готовых спецификаций.

Хорошо, если есть

• Опыт работы с метриками в NLP.
• Свободное чтение технической документации на английском языке.

Культура и преимущества

• Расширенная медицинская страховка с первого месяца (включая стоматологию и лечение критических заболеваний).
• Гибкий график работы без фиксированного начала и конца дня.
• Доступ к мощным GPU-кластерам для экспериментов с современными моделями.
• Возможность участия в профильных конференциях и доступ к внутренней образовательной платформе.
• Спортивные клубы, тренажерные залы в офисах и программы поддержки здоровья.
• Льготные жилищные займы для сотрудников российских офисов.