Middle MLOps (ЦРИИИД)

Локация: Москва, гибридный формат с работой в офисе 2–3 дня в неделю

Компания

СБЕР развивает платформу для инференса и SFT opensource LLM-моделей и внутренних AI-сервисов.

Что делать

• Разрабатывать и оптимизировать инфраструктуру инференса LLM-моделей для минимальной задержки и высокой пропускной способности.
• Обеспечивать масштабируемость и надежность LLM-serving инфраструктуры, выбирая и настраивая sglang, vLLM и llama.cpp.
• Разрабатывать разграничение доступа к API-сервисам моделей.
• Строить observability и мониторинг LLM-инференса.
• Собирать модели в сервисы и интерфейсы с использованием FastAPI, Flask, Tornado, Streamlit и Chainlit.

Требования

• От 3 до 6 лет опыта.
• Уверенное владение Linux: сети, storage, роли и пользователи, управление процессами.
• Уверенное владение Kubernetes и Istio Service Mesh.
• Опыт построения высокопроизводительных LLM-сервисов с использованием sglang и vLLM.
• Опыт настройки высоконагруженных прокси-серверов nginx, Envoy или HAProxy: балансировка нагрузки, rate limiting, SSL termination и health checks.
• Владение Bash, Python и Groovy для scripted Jenkins.
• Продвинутые навыки CI/CD и оркестрации моделей.

Хорошо, если есть

• Понимание распределенных систем и GPU-коммуникации: NCCL, MPI, RDMA, InfiniBand.
• Знание компонентов LLM-пайплайна: токенизаторы, KV-cache и контекстное окно.
• Понимание архитектуры GPU, CUDA, cuDNN и Tensor Cores.
• Опыт работы с векторными БД OpenSearch, Qdrant, FAISS или pgvector для RAG и других задач.

Культура и преимущества

• Полная занятость и гибридный формат с работой в московском офисе 2–3 дня в неделю.
• Годовой бонус и ежегодный пересмотр условий.
• Расширенный ДМС с первого дня, стоматология и льготное страхование для семьи.
• Корпоративный университет, внутренняя образовательная платформа и участие в IT-конференциях.
• Офис на Кутузовской с зонами отдыха и спортзалом, льготная ипотека, корпоративная пенсионная программа и другие корпоративные скидки.