Назад

Не получаете ответ?

Вакансия опубликована 24 дн. назад - шансы на ответ снижаются.

25 дней назад

Руководитель направления ML Pretrain Multimodal LLM

Формат работы
hybrid/onsite
Тип работы
fulltime
Грейд
head
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Руководитель направления ML Pretrain Multimodal LLM: Развитие архитектуры флагманских моделей GigaChat с акцентом на Transformer, attention, MoE, long-context и мультимодальность. Фокус на scaling-экспериментах, стабильности обучения, архитектурных абляциях и превращении исследовательских идей в надёжные решения для основного цикла pretrain.

Локация: Москва; доступен гибридный формат или работа в офисе.

Компания

СБЕР развивает GigaChat и обучает крупные мультимодальные языковые модели на кластерах H100 и B200.

Что делать

  • Развивать архитектуру моделей GigaChat и определять приоритеты развития pretrain-моделей.
  • Проектировать архитектуру флагманских моделей, включая attention, позиционные схемы, нормализации, активации и инициализацию.
  • Развивать MoE-архитектуру: маршрутизацию, балансировку экспертов, устойчивость маршрутизатора, качество и производительность.
  • Работать с long-context и мультимодальностью на уровне архитектуры.
  • Проводить scaling-эксперименты, определять параметры моделей и обучения, разрабатывать метрики и анализировать стабильность архитектурных решений.
  • Руководить исследователями и инженерами, лично писать ключевой код и внедрять архитектурные изменения в основной цикл обучения.

Требования

  • Отличное владение Python и PyTorch.
  • Глубокое понимание обучения нейросетей, включая анализ функций потерь, норм градиентов и энтропии для выявления причин расхождения конфигураций.
  • Глубокое понимание архитектуры LLM: Transformer, attention (MHA/GQA/MLA), RoPE и варианты позиционных эмбеддингов, нормализации, инициализации, long-context и MoE.
  • Практический опыт обучения больших моделей и проведения архитектурных абляций.
  • Способность самостоятельно вести направление от изучения статей и постановки гипотез до внедрения решений в основной цикл обучения.
  • Умение формулировать гипотезы, проектировать эксперименты и принимать решения по их результатам.
  • Опыт руководства сильной технической командой и готовность лично писать важные части системы.

Культура и преимущества

  • Можно выбрать гибридный формат или работу в офисе.
  • Ежегодный пересмотр зарплаты и годовая премия.
  • Корпоративный спортзал, зоны отдыха и расширенный ДМС.
  • Льготное страхование для семьи и корпоративная пенсионная программа.
  • Более 400 образовательных программ СберУниверситета, ипотека по ставке до 7%, подписка СберПрайм+ и скидки на продукты компаний-партнёров.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →