Руководитель направления ML Pretrain Multimodal LLM

Локация: Москва, офис или гибридный формат

Зарплата: 500 000–1 000 000 ₽ на руки в месяц

Компания

Сбер развивает GigaChat — AI-проект с крупными мультимодальными языковыми моделями, обучаемыми на кластерах H100 и B200.

Что делать

• Развивать архитектуру pretrain-моделей GigaChat и проектировать флагманские модели.
• Принимать решения по attention, позиционным схемам, нормализациям, активациям, инициализациям и структуре блоков.
• Развивать MoE-архитектуру, маршрутизацию и балансировку экспертов.
• Работать с long-context и мультимодальностью на уровне архитектуры.
• Проводить scaling-эксперименты, абляции и анализ стабильности крупномасштабного обучения.
• Руководить исследовательской и инженерной командой, лично писать ключевой код и внедрять решения в основной цикл обучения.

Требования

• Отличное владение Python и PyTorch.
• Глубокое понимание обучения нейросетей и причин нестабильности по кривым потерь, нормам градиентов и энтропии.
• Глубокое знание архитектур LLM: Transformer, MHA/GQA/MLA, RoPE, нормализации, инициализации, long-context и MoE.
• Практический опыт обучения больших моделей и проведения архитектурных абляций.
• Умение формулировать гипотезы, проектировать эксперименты и принимать решения по их результатам.
• Опыт руководства сильной технической командой и готовность самостоятельно писать важные части системы.

Культура и преимущества

• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Корпоративный спортзал и зоны отдыха.
• Более 400 образовательных программ СберУниверситета.
• Льготная ипотека до 7%, подписка СберПрайм+ и скидки на продукты компаний-партнеров.