Роль четко сосредоточена на эксплуатации LLM в production, с сильной технической составляющей и фокусом на современной AI-инфраструктуре; при этом уровень компенсации не указан.
Актуальные технологии
Понятная зона задач
Сфера ИИ
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
LLMOps-DevOps (AI): Подготовка и запуск LLM и других генеративных моделей в production с акцентом на inference, GPU-оптимизацию и Kubernetes. Фокус на профилировании, нагрузочном тестировании, масштабировании model-serving-сервисов и снижении стоимости inference.
Локация: Москва, 2-я Звенигородская улица, 12с2; гибридный формат работы
Компания
Cloud.ru развивает облачную и on-premise-инфраструктуру для запуска и эксплуатации LLM и других генеративных моделей.
Что делать
Готовить LLM и другие генеративные модели к промышленному запуску, выбирать inference-движки с учетом архитектуры моделей, оборудования и требований продукта.
Создавать воспроизводимые контейнерные образы и конфигурации model serving, настраивать parallelism, batching, KV cache, длину контекста, управление памятью и квантизацию.
Определять конфигурации GPU для целевых latency, throughput и нагрузки, проводить профилирование, функциональные и нагрузочные тесты.
Автоматизировать развертывание, обновление, откат и масштабирование моделей в Kubernetes, а также настраивать метрики, логи и трассировку.
Выявлять узкие места на уровне модели, inference-движка, CUDA, GPU, сети и хранилища; контролировать утилизацию GPU, память и стоимость inference.
Формировать эталонные конфигурации и таблицы производительности, оценивать новые модели, фреймворки и аппаратные платформы, консультировать продуктовые, DevOps/SRE и другие команды.
Требования
Практический опыт запуска LLM или других крупных генеративных моделей в production либо на высоконагруженных стендах.
Хорошее понимание архитектуры Transformer и жизненного цикла inference-запроса.
Опыт работы хотя бы с одним inference-движком: vLLM, NVIDIA TensorRT-LLM, Triton Inference Server, Hugging Face TGI или аналогичным.
Понимание tensor/pipeline parallelism, continuous batching, KV cache, методов управления памятью и квантизации, включая ее влияние на качество и производительность.
Практический опыт работы с GPU, CUDA и инструментами диагностики; уверенное владение Python.
Опыт контейнеризации с Docker и развертывания сервисов в Kubernetes.
Опыт нагрузочного тестирования и анализа latency, throughput, time to first token и inter-token latency.
Опыт настройки мониторинга и профилирования inference-сервисов.
Знание Linux, Git и основных принципов CI/CD; умение документировать эксперименты и принимать решения на основании измеримых результатов.
Хорошо, если есть
Опыт работы с NVIDIA GPU Operator, DCGM, MIG, NCCL и multi-node inference.
Знание PyTorch и Hugging Face Transformers.
Опыт оптимизации моделей с помощью TensorRT, ONNX или custom kernels.
Опыт работы с Ray Serve, KServe, Seldon или аналогичными системами.
Понимание особенностей MoE-моделей, speculative decoding и prefix caching.
Опыт построения автоматизированного контура оценки качества LLM, эксплуатации моделей в on-premise или изолированных средах, а также расчета и оптимизации unit-экономики inference.
Культура и преимущества
Полная занятость.
Гибридный формат работы в Москве.
Взаимодействие с командами разработки моделей, DevOps/SRE, Agents Space и частных инсталляций.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →