Руководитель направления Online RL (STEM) / Post-Training LLM в команду GigaChat

Локация: Москва; формат работы — гибрид или офис.

Зарплата: 500 000–1 000 000 ₽ в месяц на руки.

Компания

Сбер развивает GigaChat и команду online-RL для post-training больших языковых моделей.

Что делать

• Разрабатывать и улучшать методы online-RL и post-training для LLM.
• Проектировать и проводить ML-эксперименты: формулировать гипотезы, настраивать конфигурации, анализировать результаты и причины изменений качества.
• Строить инфраструктуру обучения и поддерживать пайплайны online-RL от генерации rollout'ов и сбора reward-сигналов до обновления весов модели.
• Обеспечивать воспроизводимость экспериментов через версионирование данных, конфигураций и чекпоинтов, а также контроль деградаций.
• Оптимизировать throughput и использование GPU, включая distributed training, параллелизм и профилирование узких мест.
• Разрабатывать reward-сигналы, пайплайны подготовки данных и системы оценки качества во взаимодействии с исследователями, инженерными, дата- и инфраструктурными командами.

Требования

• Отличное владение Python и PyTorch.
• Практический опыт в LLM post-training, включая RLHF, online-RL, DPO или смежные направления.
• Опыт проведения ML-экспериментов от постановки гипотезы до реализации, анализа и выводов.
• Понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналогов.
• Умение писать чистый, надёжный production-ready код и самостоятельно находить узкие места в сложных системах.

Хорошо, если есть

• Опыт работы с reward-моделями, process-reward-моделями и LLM-as-a-judge.
• Опыт создания сред исполнения, sandbox'ов и верификаторов для code- или STEM-задач.
• Опыт large-scale inference и оптимизации генерации с vLLM или SGLang.
• Знание open-source стеков для обучения LLM, включая verl, Megatron и TRL.
• Публикации, open-source-вклад или сильный прикладной track record.

Культура и преимущества

• Возможность выбрать гибридный формат или работу в офисе.
• Ежегодный пересмотр зарплаты и годовая премия.
• Расширенный ДМС, страхование для семьи и корпоративная пенсионная программа.
• Более 400 образовательных программ СберУниверситета.
• Корпоративный спортзал, зоны отдыха, льготная ипотека до 7%, подписка СберПрайм+ и скидки партнёров.