Senior CUDA Engineer (PyTorch)

TL;DR

Senior CUDA Engineer (PyTorch): Разработка и оптимизация высокопроизводительных CUDA-операторов для обучения и инференса мультимодальных моделей с акцентом на низкоуровневую архитектурную оптимизацию и эффективное использование GPU-ресурсов. Фокус на профилировании вычислительных ядер, реализации кастомных кернелов и интеграции решений в распределенные пайплайны обучения.

Локация: Москва (м. Кутузовская), офис или гибрид.

Зарплата: 350 000 — 550 000 руб./мес. на руки.

Компания

Сбер — крупнейший российский финансовый институт и один из самых дорогих банковских брендов в мире.

Что делать

• Разрабатывать и оптимизировать кастомные CUDA-операторы для PyTorch.
• Проводить профилирование вычислительных ядер для выявления и устранения узких мест.
• Оптимизировать работу с памятью и использование аппаратных ресурсов GPU.
• Реализовывать параллельные алгоритмы с учетом особенностей архитектур NVIDIA Ampere/Hopper.
• Интегрировать решения в распределенные пайплайны обучения и инференса.
• Взаимодействовать с командами Research и Distributed Learning.

Требования

• Экспертные знания C++ и CUDA.
• Опыт оптимизации производительности для NVIDIA GPU.
• Глубокое понимание устройства PyTorch (ATen, dispatcher, TensorIterator).
• Навыки профилирования и поиска узких мест в работе нейросетевых операторов.
• Опыт работы с Mixed Precision и кастомными кернелами.

Хорошо, если есть

• Знание Triton, CUTLASS, cuBLASLt или NCCL.
• Опыт участия в open-source проектах PyTorch.

Культура и преимущества

• Современный офис с зонами отдыха и спортзалом.
• Гибридный формат работы.
• Расширенный ДМС с льготным страхованием для семьи.
• Профессиональное развитие через образовательные программы СберУниверситета.
• Корпоративная пенсионная программа и льготные условия по ипотеке.
• Подписка СберПрайм+ и бонусы от партнеров.