Назад
4 дня назад

LLMOps-DevOps (AI)

Формат работы
hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
LLMOps-DevOps (AI): Подготовка и запуск LLM и других генеративных моделей в production с акцентом на inference, GPU-оптимизацию и Kubernetes. Фокус на профилировании, нагрузочном тестировании, масштабировании model-serving-сервисов и снижении стоимости inference.

Локация: Москва, 2-я Звенигородская улица, 12с2; гибридный формат работы

Компания

Cloud.ru развивает облачную и on-premise-инфраструктуру для запуска и эксплуатации LLM и других генеративных моделей.

Что делать

  • Готовить LLM и другие генеративные модели к промышленному запуску, выбирать inference-движки с учетом архитектуры моделей, оборудования и требований продукта.
  • Создавать воспроизводимые контейнерные образы и конфигурации model serving, настраивать parallelism, batching, KV cache, длину контекста, управление памятью и квантизацию.
  • Определять конфигурации GPU для целевых latency, throughput и нагрузки, проводить профилирование, функциональные и нагрузочные тесты.
  • Автоматизировать развертывание, обновление, откат и масштабирование моделей в Kubernetes, а также настраивать метрики, логи и трассировку.
  • Выявлять узкие места на уровне модели, inference-движка, CUDA, GPU, сети и хранилища; контролировать утилизацию GPU, память и стоимость inference.
  • Формировать эталонные конфигурации и таблицы производительности, оценивать новые модели, фреймворки и аппаратные платформы, консультировать продуктовые, DevOps/SRE и другие команды.

Требования

  • Практический опыт запуска LLM или других крупных генеративных моделей в production либо на высоконагруженных стендах.
  • Хорошее понимание архитектуры Transformer и жизненного цикла inference-запроса.
  • Опыт работы хотя бы с одним inference-движком: vLLM, NVIDIA TensorRT-LLM, Triton Inference Server, Hugging Face TGI или аналогичным.
  • Понимание tensor/pipeline parallelism, continuous batching, KV cache, методов управления памятью и квантизации, включая ее влияние на качество и производительность.
  • Практический опыт работы с GPU, CUDA и инструментами диагностики; уверенное владение Python.
  • Опыт контейнеризации с Docker и развертывания сервисов в Kubernetes.
  • Опыт нагрузочного тестирования и анализа latency, throughput, time to first token и inter-token latency.
  • Опыт настройки мониторинга и профилирования inference-сервисов.
  • Знание Linux, Git и основных принципов CI/CD; умение документировать эксперименты и принимать решения на основании измеримых результатов.

Хорошо, если есть

  • Опыт работы с NVIDIA GPU Operator, DCGM, MIG, NCCL и multi-node inference.
  • Знание PyTorch и Hugging Face Transformers.
  • Опыт оптимизации моделей с помощью TensorRT, ONNX или custom kernels.
  • Опыт работы с Ray Serve, KServe, Seldon или аналогичными системами.
  • Понимание особенностей MoE-моделей, speculative decoding и prefix caching.
  • Опыт построения автоматизированного контура оценки качества LLM, эксплуатации моделей в on-premise или изолированных средах, а также расчета и оптимизации unit-экономики inference.

Культура и преимущества

  • Полная занятость.
  • Гибридный формат работы в Москве.
  • Взаимодействие с командами разработки моделей, DevOps/SRE, Agents Space и частных инсталляций.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →