Чётко очерченная роль в команде оценки LLM у крупной продуктовой компании даёт практическую работу с GenAI-функциями, обратной связью из продакшена и поддержкой обучения.
Актуальные AI-технологии
Понятная зона ответственности
Поддержка развития
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
AI инженер (LLM Evals) (LLM/GenAI): Разработка, тестирование и внедрение LLM-решений и AI-ассистентов с акцентом на prompt engineering, проектирование LLM-пайплайнов и системную оценку качества. Focus on создании golden-сетов и бенчмарков, настройке LLM-as-a-judge, анализе логов и трейсов и улучшении продакшен-фич на основе метрик и обратной связи.
Локация: Москва; возможна работа на месте работодателя, удалённо или в гибридном формате.
Зарплата: до 300 000 RUB в месяц до вычета налогов.
Компания
HeadHunter создаёт продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий, включая генерацию текстов, диалоги, классификацию и анализ вакансий и резюме.
Что делать
Разрабатывать, тестировать и внедрять совместно с командой разработки решения на базе LLM.
Настраивать поведение моделей через промпты, контекст, параметры моделей и архитектуры LLM-пайплайнов: цепочки промптов, агенты, RAG и другие подходы.
Создавать и поддерживать golden-сеты, валидационные выборки, метрики и бенчмарки для оценки качества LLM-фичей.
Настраивать LLM-as-a-judge и развивать автоматическую оценку решений на разных этапах.
Анализировать логи, трейсы и обратную связь по работе ассистентов в продакшене и улучшать качество решений.
Требования
Практический опыт создания решений на базе LLM: prompt engineering, RAG, function calling, structured outputs, reasoning и agents.
Понимание теории ML, глубокого обучения и современных подходов к NLP.
Сильный Python, опыт работы с аналитическими инструментами и ML-библиотеками.
Опыт работы с SQL и данными, включая сбор датасетов и проведение аналитики.
Опыт работы с популярными вендорными и open-source моделями, включая Qwen, Llama, DeepSeek и GPT-OSS.
Опыт работы с фреймворками оркестрации LLM: LangGraph, LangChain или аналогами.
Понимание методов оценки качества LLM: бенчмарки, human evaluation, LLM-as-a-judge и метрики для различных NLP-задач.
Продуктовое мышление, ориентация на помощь конечному пользователю, участие в брейнштормах и способность предлагать новые идеи.
Опыт работы: от 1 года до 3 лет.
Хорошо, если есть
Практический опыт файнтюнинга LLM под продуктовые задачи: SFT, PEFT, RLHF, LoRA, PPO, DPO или GRPO.
Опыт внедрения LLM-решений в продакшен.
Культура и преимущества
Полная занятость и гибкий график рабочего дня.
Возможность работать удалённо, из офиса или в гибридном формате.
Оформление в соответствии с ТК РФ.
Корпоративное ДМС с первого месяца работы.
Профессиональное развитие, обучение за счёт компании и участие в специализированных конференциях.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →