Руководитель направления ML Pretrain Multimodal LLM

Локация: гибридный формат или работа из офиса

Зарплата: 500 000–1 000 000 ₽ в месяц на руки

Компания

Развитие GigaChat и крупномасштабных мультимодальных языковых моделей на кластерах H100 и B200.

Что делать

• Развивать архитектуру pretrain-моделей GigaChat и проектировать архитектуру флагманских моделей.
• Принимать решения по attention, позиционным схемам, нормализациям, активациям, инициализации и структуре блоков.
• Развивать MoE-архитектуру, включая маршрутизацию, балансировку экспертов, устойчивость маршрутизатора и влияние решений на качество и производительность.
• Работать с long-context и мультимодальностью на уровне архитектуры.
• Проводить scaling-эксперименты, определять метрики и принимать решения о размере моделей, экспертов, батчей и длительности обучения.
• Писать ключевой код, воспроизводить исследования, внедрять решения в основной цикл обучения и руководить командой исследователей и инженеров.

Требования

• Отличное владение Python и PyTorch.
• Глубокое понимание обучения нейросетей и умение анализировать расхождение конфигураций по кривым потерь, нормам градиентов и энтропиям.
• Глубокое понимание архитектуры LLM: Transformer, MHA, GQA, MLA, RoPE, позиционные эмбеддинги, нормализации, инициализации, long-context и MoE.
• Практический опыт обучения больших моделей и проведения архитектурных абляций.
• Умение формулировать гипотезы, проектировать эксперименты и доводить решения от изучения статей до внедрения в основной тренинг.
• Опыт руководства сильной технической командой и готовность лично писать важные части системы.

Культура и преимущества

• Гибридный или офисный формат работы.
• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета.
• Корпоративный спортзал, зоны отдыха, льготная ипотека и другие корпоративные скидки.