Senior MLOps/DevOps Engineer (LLM)

TL;DR

Senior MLOps/DevOps Engineer (LLM): Строим платформу для инференса и SFT open-source LLM с акцентом на минимальную задержку, высокую пропускную способность и масштабируемость инфраструктуры. Фокус на выборе и настройке инструментов инференса (sglang, vLLM, llama.cpp), разработке observability, разграничении доступов и сборке сервисов.

Локация: Москва (Кутузовская), гибрид (2-3 дня в офисе)

Зарплата: 300 000 — 500 000 ₽/мес на руки

Компания

Крупнейший банк в России и Центральной/Восточной Европе, лидер в финтехе.

Что делать

• Разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности.
• Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры, настраивать инструменты инференса (sglang, vLLM, llama.cpp).
• Разрабатывать механизмы разграничения доступов к API-сервисам моделей.
• Строить систему observability и мониторинга LLM-инференса.
• Собирать модели в сервисы и интерфейсы (FastAPI, Flask, Tornado, Streamlit, Chainlit).

Требования

• Опыт в аналогичной роли от 5 лет
• Опыт с Linux (сеть, storage, роли/пользователи, менеджмент процессов).
• Уверенное владение Kubernetes (используем Istio Service Mesh).
• Опыт построения высокопроизводительных LLM-сервисов (sglang, vLLM).
• Опыт настройки высоконагруженных прокси-серверов (nginx, Envoy, HAProxy): load balancing, rate limiting, SSL termination, health checks.
• Владение языками: Bash, Python, Groovy (Jenkins scripted); продвинутые навыки в CI/CD и оркестрации моделей.

Хорошо, если есть

• Понимание распределенных систем и GPU-коммуникации (NCCL, MPI, RDMA, InfiniBand).
• Знание служебных компонентов LLM-пайплайна: токенизаторы, KV-cache, контекстное окно.
• Понимание внутренней архитектуры GPU (CUDA, cuDNN, Tensor Cores).
• Опыт работы с векторными БД (Opensearch, Qdrant, FAISS, pgvector) для RAG и других задач.

Культура и преимущества

• Годовой бонус и ежегодный пересмотр зарплаты.
• Расширенный ДМС с первого дня + стоматологию и льготное страхование для семьи.
• Корпоративный университет Сбера, внутренняя образовательная платформа, участие в IT-конференциях.
• Офис на Кутузовской с зонами отдыха и спортзалом.
• Льготная ипотека в Сбере, корпоративная пенсионная программа, СберПрайм+, скидки от партнеров.

Процесс найма

• Первый этап — общение с AI-рекрутером (ГигаРекрутер) в Telegram (~10 минут) для уточнения деталей.