Здесь можно возглавить разработку архитектуры флагманской LLM и совмещать исследования, обучение моделей на большом масштабе и руководство командой; при этом не раскрыты зарплата и устройство команды.
?Большая зона ответственности
Актуальный AI-стек
Масштабный AI-проект
Ресурсы для развития
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Руководитель направления ML Pretrain Multimodal LLM: Развитие архитектуры флагманских моделей GigaChat с акцентом на Transformer, attention, MoE, long-context и мультимодальность. Фокус на scaling-экспериментах, стабильности обучения, архитектурных абляциях и превращении исследовательских идей в надёжные решения для основного цикла pretrain.
Локация: Москва; доступен гибридный формат или работа в офисе.
Компания
СБЕР развивает GigaChat и обучает крупные мультимодальные языковые модели на кластерах H100 и B200.
Что делать
Развивать архитектуру моделей GigaChat и определять приоритеты развития pretrain-моделей.
Проектировать архитектуру флагманских моделей, включая attention, позиционные схемы, нормализации, активации и инициализацию.
Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора, качество и производительность.
Работать с long-context и мультимодальностью на уровне архитектуры.
Проводить scaling-эксперименты, определять параметры моделей и обучения, разрабатывать метрики и анализировать стабильность архитектурных решений.
Руководить исследователями и инженерами, лично писать ключевой код и внедрять архитектурные изменения в основной цикл обучения.
Требования
Отличное владение Python и PyTorch.
Глубокое понимание обучения нейросетей, включая анализ функций потерь, норм градиентов и энтропии для выявления причин расхождения конфигураций.
Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE.
Практический опыт обучения больших моделей и проведения архитектурных абляций.
Способность самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения.
Умение формулировать гипотезы, проектировать эксперименты и принимать решения по их результатам.
Опыт руководства сильной технической командой и готовность лично писать важные части системы.
Культура и преимущества
Можно выбрать гибридный формат или работу в офисе.
Ежегодный пересмотр зарплаты и годовая премия.
Корпоративный спортзал, зоны отдыха и расширенный ДМС.
Льготное страхование для семьи и корпоративная пенсионная программа.
Более 400 образовательных программ СберУниверситета, ипотека по ставке до 7%, подписка СберПрайм+ и скидки на продукты компаний-партнёров.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →