Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior MLOps/AI Platform Engineer (AI): Developing and operating a platform for LLM inference in industrial operation with an accent on infrastructure, GPU load, API layer, and model performance optimization. Фокус на стабильном и эффективном инференсе, интеграции моделей в сервисы и развитии платформы ИИ в on-prem / изолированном контуре.
Локация: Можно удалённо на территории РФ
Компания
IT-компания ГНИВЦ - партнер государственных компаний и лидеров российского бизнеса, разработчик и системный интегратор крупнейших государственных информационных систем, а также коммерческих решений для налогового мониторинга.
Что делать
- Разворачивать и поддерживать сервисы инференса моделей (vLLM, llama.cpp, Triton и др.).
- Настраивать и оптимизировать инференс LLM (пропускная способность, задержки, батчинг, KV-cache).
- Работать с GPU-инфраструктурой (распределение, загрузка, диагностика, профилирование).
- Строить API-слой для моделей (OpenAI-совместимый API, потоковые ответы, маршрутизация).
- Интегрировать модели в корпоративные системы через REST/gRPC.
- Настраивать мониторинг (метрики, логи, трассировки, алерты).
Требования
- 4+ года опыта в MLOps / DevOps / инфраструктурной разработке.
- Практический опыт работы с Kubernetes.
- Опыт работы с GPU (NVIDIA stack, nvidia-smi, CUDA).
- Опыт запуска и эксплуатации ML/LLM моделей в промышленной эксплуатации.
- Уверенное владение Python.
- Понимание принципов работы инференса LLM (токены, контекст, задержки, батчинг).
Хорошо, если есть
- Опыт с vLLM / GPUStack / Triton / TensorRT-LLM.
- Опыт работы с LiteLLM или аналогичными прокси/шлюзами.
- Опыт построения RAG-систем (векторные БД, эмбеддинги).
- Опыт работы с Milvus / Qdrant / pgvector.
- Опыт оптимизации инференса (квантизация, параллелизм, шардинг).
Культура и преимущества
- Возможность работы в офисе, по гибридному графику или полностью дистанционно на территории РФ.
- Профессиональное обучение и сертификация за счет компании.
- Организация внутренних и внешних митапов, хакатонов, конференций, семинаров и тренингов.
- Компенсация больничного листа продолжительностью до 7 дней с сохранением полной оплаты.
- Добровольное медицинское страхование (ДМС) по окончании испытательного срока.
- Возмещение до 50% затрат на занятия спортом.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
