Назад
1 день назад

AI инженер (LLM Evals)

300 000₽
Формат работы
remote (только Russia)/onsite/hybrid
Тип работы
fulltime
Грейд
junior/middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
AI инженер (LLM Evals) (LLM/GenAI): Разработка, тестирование и внедрение LLM-решений и AI-ассистентов с акцентом на prompt engineering, проектирование LLM-пайплайнов и системную оценку качества. Focus on создании golden-сетов и бенчмарков, настройке LLM-as-a-judge, анализе логов и трейсов и улучшении продакшен-фич на основе метрик и обратной связи.

Локация: Москва; возможна работа на месте работодателя, удалённо или в гибридном формате.

Зарплата: до 300 000 RUB в месяц до вычета налогов.

Компания

HeadHunter создаёт продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий, включая генерацию текстов, диалоги, классификацию и анализ вакансий и резюме.

Что делать

  • Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM.
  • Настраивать поведение моделей через промпты, контекст, параметры моделей и архитектуры LLM-пайплайнов: цепочки промптов, агенты, RAG и другие подходы.
  • Создавать и поддерживать golden-сеты, валидационные выборки, метрики и бенчмарки для оценки качества LLM-фичей.
  • Настраивать LLM-as-a-judge и развивать автоматическую оценку решений на разных этапах.
  • Анализировать логи, трейсы и обратную связь по работе ассистентов в продакшене и улучшать качество решений.

Требования

  • Практический опыт создания решений на базе LLM: prompt engineering, RAG, function calling, structured outputs, reasoning и agents.
  • Понимание теории ML, глубокого обучения и современных подходов к NLP.
  • Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками.
  • Опыт работы с SQL и данными, включая сбор датасетов и проведение аналитики.
  • Опыт работы с популярными вендорными и open-source моделями, включая Qwen, Llama, DeepSeek и GPT-OSS.
  • Опыт работы с фреймворками оркестрации LLM: LangGraph, LangChain или аналогами.
  • Понимание методов оценки качества LLM: бенчмарки, human evaluation, LLM-as-a-judge и метрики для различных NLP-задач.
  • Продуктовое мышление, ориентация на помощь конечному пользователю, участие в брейнштормах и способность предлагать новые идеи.
  • Опыт работы: от 1 года до 3 лет.

Хорошо, если есть

  • Практический опыт файнтюнинга LLM под продуктовые задачи: SFT, PEFT, RLHF, LoRA, PPO, DPO или GRPO.
  • Опыт внедрения LLM-решений в продакшен.

Культура и преимущества

  • Полная занятость и гибкий график рабочего дня.
  • Возможность работать удалённо, из офиса или в гибридном формате.
  • Оформление в соответствии с ТК РФ.
  • Корпоративное ДМС с первого месяца работы.
  • Профессиональное развитие, обучение за счёт компании и участие в специализированных конференциях.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →