AI/LLM Engineer (GenAI Evaluation)

Локация: Москва; доступен офисный, удалённый или гибридный формат работы.

Компания

HeadHunter развивает продукты и AI-ассистентов для работодателей и соискателей на базе генеративных технологий, включая генерацию текстов, диалоги, классификацию и анализ вакансий и резюме.

Что делать

• Выстраивать процессы разработки и валидации GenAI-решений на основе Evaluation-driven development.
• Разрабатывать высокопроизводительный сервис массового тестирования GenAI-решений — от QA-запросов к LLM до сложных агентов с отдельным окружением.
• Создавать HR-бенчмарки для оценки open-source LLM, проектировать метрики качества и валидационные пайплайны.
• Настраивать observability для контроля качества GenAI-решений в production.
• Организовывать человеческую разметку и разрабатывать LLM-as-Judge.
• Развивать best practices, cookbooks и инструкции, взаимодействовать с продуктовыми командами и помогать внедрять подходы к оценке качества.

Требования

• Уверенное владение Python и опыт разработки production-ready ML/GenAI-сервисов.
• Опыт построения и внедрения систем оценки качества ML/GenAI-решений: offline-метрики, regression testing, human evaluation, A/B-тестирование или онлайн-валидация.
• Опыт проектирования валидационных пайплайнов и бенчмарков с датасетами, версиями, воспроизводимостью и сравнением моделей.
• Опыт работы с фреймворками оценки и observability-инструментами: DeepEval, LangFuse, MLflow, LangSmith или аналогами.
• Понимание особенностей оценки LLM- и agent-based систем по сравнению с классической разработкой и ML.
• Опыт работы с LLM API и реализации LLM-based сервисов, включая диалоговых агентов, RAG и agent workflows.
• Знание LLM-фреймворков и подходов к разработке AI-агентов: LangChain, LangGraph или аналоги, function calling, structured output, context engineering.
• Опыт создания web-сервисов с FastAPI и asyncio, проектирования чистых функциональных API и интеграции с backend-сервисами.
• Опыт работы с векторными базами данных Milvus, Qdrant, FAISS или pgvector для RAG-решений.
• Готовность быть драйвером внедрения best practices внутри компании.

Хорошо, если есть

• Знание Java.
• Понимание современных архитектур и методов обучения языковых моделей.
• Опыт обучения и инференса open-source LLM-моделей.

Культура и преимущества

• Полная занятость, гибкий график рабочего дня и возможность работать удалённо или из офиса.
• Оформление в соответствии с ТК РФ и официальная заработная плата, выплачиваемая точно в срок.
• Корпоративное ДМС с первого месяца работы.
• Профессиональное развитие, обучение за счёт компании и участие в специализированных конференциях.