Программист-исследователь (AI/LLM)

Программист-исследователь в VK Tech, Москва
#гибрид
Компания: VK

☑️Задачи
-участвовать в проектировании RAG-архитектуры под B2B-кейсы: помогать выбирать источники данных, настраивать ingestion, chunking, базовые стратегии retrieval (dense/hybrid) под руководством более опытных коллег;
-настраивать LLM/агентов под предметную область: реализовывать промпты, подключать инструменты (tool calling), работать с контекстом и базовой памятью;
-реализовывать POC/POV на данных клиента, проводить итерационные улучшения на основе метрик и обратной связи;
-строить Data Ingestion пайплайны с OCR;
-реализовывать evaluation-пайплайны: генерация тестовых наборов, запуск auto-eval, участие в human-eval;
-считать и анализировать ключевые метрики (accuracy, coverage, latency, user success rate), готовить отчеты для команды;
-участвовать в настройке мониторинга: логирование, базовые алерты, анализ неуспешных кейсов и их фиксы.
-участвовать в интеграции с инфраструктурой (Kubernetes, облако), работать с метриками и логами;
-участвовать в нагрузочном тестировании для оценки скорости инференса и необходимых ресурсов.

☑️Требования
-опыт работы с Python (pandas, PyTorch/TF, API LLM);
-опыт работы в ML/DS/NLP от двух лет;
-опыт работы с LLM/RAG;
-понимание полного цикла ML-разработки;
-практический опыт работы с RAG: настройка retrieval, работа с embedding-моделями, векторными БД (FAISS, Qdrant, Pinecone и др.);
-понимание базовых техник улучшения качества (reranking, filtering, prompt tuning);
-опыт работы с агентными фреймворками (LangChain / LangGraph / LlamaIndex / ADK и др.);
-базовое понимание agentic-подходов и tool calling;
-опыт prompt engineering и настройки LLM под задачи;
-базовый опыт fine-tuning (или понимание подходов: LoRA, QLora, instruction tuning);
-понимание оптимизации инференса (на уровне использования инструментов: vLLM, quantization и др.);
-опыт работы с популярными ML фреймворками: tranformers, vllm, sglang, pytorch;
-SQL, базовое понимание работы с данными и пайплайнами;
-опыт деплоя сервисов (Docker, FastAPI), базовое понимание Kubernetes/облака;
-навыки логирования, мониторинга и базовых A/B-экспериментов;
-опыт работы с evaluation для ML/LLM (auto-метрики + участие в ручной оценке, LLM-as-Judge).

Показать контакты

Python Job | |