Middle AI Infrastructure Engineer

Локация: Москва, офис работодателя; офис расположен у м. Кутузовская

Компания

СБЕР развивает высокопроизводительную инфраструктуру для сервинга больших языковых моделей.

Что делать

• Обеспечивать надёжную работу LLM-инференса в production на высоких нагрузках, включая обновления без простоя и планирование мощностей.
• Развивать шлюзовой слой: маршрутизацию запросов между моделями и серверами, rate limits, балансировку и наблюдаемость.
• Оптимизировать vLLM и SGLang, распределение ресурсов между GPU-нодами и параметры инференса под разные типы нагрузок.
• Внедрять мониторинг GPU-метрик и производительности моделей.
• Оперативно решать инциденты и обеспечивать высокую доступность сервисов.

Требования

• От 3 лет опыта в DevOps/SRE или системной инженерии.
• Практический опыт с LLM-сервингом: vLLM, SGLang, TGI или Triton; понимание конфигурирования движков под high throughput и low latency.
• Глубокие знания Linux, Docker и Kubernetes.
• Опыт работы с GPU-инфраструктурой: драйверы NVIDIA, Docker с доступом к GPU и CUDA.
• Навыки программирования на Python или Go для автоматизации задач.
• Опыт работы с Prometheus и Grafana.
• Понимание работы нейросетей на системном уровне.

Хорошо, если есть

• Практический опыт запуска моделей на нескольких GPU в рамках одного или нескольких серверов, включая data и tensor parallelism.
• Опыт работы со шлюзами LLM-сервинга, например LiteLLM.
• Английский язык для чтения документации.

Культура и преимущества

• Современный офис, корпоративный спортзал и зоны отдыха.
• Ежегодный пересмотр зарплаты и годовой бонус.
• Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• Льготные условия ипотечного кредитования, подписка Прайм и вознаграждение за рекомендации.