Инженер машинного обучения в GenAI

Локация: Москва; комбинированный формат работы

Компания

VK развивает решения на базе LLM для поддержки пользователей и внутренних бизнес-процессов — от прототипов и экспериментов до промышленных сервисов с мониторингом качества и стабильной эксплуатацией.

Что делать

• Разрабатывать LLM-агентов: сценарии, tools, оркестрацию, память, маршрутизацию, обработку ошибок и fallback-логику.
• Проектировать и внедрять RAG-системы: индексацию, эмбеддинги, ретриверы, ранжирование, чанкинг и оценку качества поиска и ответов.
• Интегрировать агентные решения в production-сервисы, API, Kafka, Redis и другие компоненты инфраструктуры.
• Настраивать логирование, трейсинг, Langfuse, дашборды, алерты и контроль деградаций.
• Проводить offline/online-оценку, строить датасеты, считать precision/recall/F1 и macro-F1, проводить A/B- или квазиэксперименты.
• Улучшать пайплайны данных и экспериментов, писать поддерживаемый код, участвовать в code review, тестировании, документации, CI/CD и архитектурных решениях.

Требования

• Уверенный Python: проектирование модулей, типизация, тестирование и работа с API/сервисами.
• Практический опыт работы с LLM и agentic-подходами: промптинг, tool calling, цепочки/графы, управление контекстом, обработка галлюцинаций и ограничений моделей.
• Понимание и практический опыт оценки качества: precision/recall/F1, macro-F1, построение датасетов и интерпретация метрик.
• Опыт построения или внедрения RAG: retrieval, embeddings, индексация, ранжирование, чанкинг и оценка retrieval-качества.
• Опыт разработки и эксплуатации сервисов: REST/gRPC, асинхронность, логирование, мониторинг и Git.
• Понимание очередей, кешей и хранилищ; опыт интеграций с Kafka, Redis или аналогами.

Хорошо, если есть

• Опыт с LangGraph/LangChain и Langfuse.
• Опыт с YTsaurus или другими распределёнными системами хранения и обработки данных.
• Опыт с low-code/конструкторами пайплайнов и доведением быстрых прототипов до production.
• Знание rerank, hybrid search, query rewriting и guardrails/safety.
• Опыт A/B-тестов, построения продуктовых метрик и причинно-следственного анализа.
• Опыт контейнеризации и деплоя: Docker/K8s, CI/CD.

Культура и преимущества

• Комбинированный формат работы.
• Полный рабочий график.
• Уровень позиции: middle/senior.