Head of ML Pretrain LLM (AI)

TL;DR

Head of ML Pretrain LLM (AI): Руководство архитектурным развитием флагманских моделей GigaChat с акцентом на pretrain-процессы, MoE-архитектуры и законы масштабирования. Фокус на проектировании сложных нейросетевых структур, обеспечении стабильности обучения на кластерах H100/B200 и управлении командой сильных исследователей.

Локация: Удалённо (только из РФ)

Зарплата: 650 000 — 850 000 ₽/мес на руки

Компания

Крупнейший технологический проект Сбера, развивающий флагманские русскоязычные LLM и GigaChat.

Что делать

• Определять стратегию развития архитектуры pretrain-моделей и проектировать ключевые компоненты (attention, MoE, позиционные схемы).
• Проводить scaling-эксперименты для оптимизации параметров модели и предсказания поведения при масштабировании.
• Анализировать и устранять нестабильности обучения, включая артефакты маршрутизации и проблемы сходимости.
• Писать ключевой код архитектурных компонентов и проводить воспроизводимые абляции.
• Руководить командой исследователей, задавая стандарты качества и глубины проработки решений.

Требования

• Отличное владение Python и PyTorch.
• Глубокое понимание архитектуры LLM (Transformer, MoE, RoPE, long-context).
• Практический опыт обучения больших моделей и проведения архитектурных абляций.
• Опыт руководства сильной технической командой.
• Способность самостоятельно доводить архитектурные гипотезы до внедрения в основной трейн.

Хорошо, если есть

• Опыт работы с MoE-архитектурами и 5D-параллелизмом (DP/TP/PP/EP/SP).
• Публикации или сильный research track record в области AI.
• Опыт работы с мультимодальными расширениями LLM.

Культура и преимущества

• Работа на переднем крае развития русскоязычных LLM.
• Высокая степень влияния на архитектурные решения и качество итоговой модели.
• Команда сильных инженеров и исследователей.
• Возможность совмещать управление с глубокой технической работой.
• Конкурентная компенсация и расширенный соцпакет.