ML-инженер (Online RL) / Post-Training LLM

Локация: Москва

Компания

СБЕР развивает русскоязычную большую языковую модель GigaChat.

Что делать

• Разрабатывать и улучшать методы online RL и post-training для LLM.
• Проектировать, запускать и анализировать ML-эксперименты: формулировать гипотезы, подбирать конфигурации и оценивать устойчивость и масштабируемость результатов.
• Строить и поддерживать пайплайны online RL от генерации rollout'ов и сбора reward-сигналов до обновления весов модели.
• Обеспечивать воспроизводимость экспериментов, включая версионирование данных, конфигураций и чекпоинтов, а также контроль деградаций.
• Оптимизировать throughput и использование GPU с помощью distributed training, параллелизма и профилирования.
• Проектировать reward-сигналы и пайплайны данных, анализировать ошибки модели и формировать целевые обучающие выборки.

Требования

• 3–6 лет опыта.
• Отличное владение Python и PyTorch.
• Практический опыт в LLM post-training: RLHF, online RL, DPO или смежных направлениях.
• Опыт проведения ML-экспериментов от постановки гипотезы и реализации до анализа результатов и формулирования выводов.
• Понимание distributed training: Data Parallel, FSDP, DeepSpeed или аналогов.
• Умение писать чистый, надёжный production-ready код.
• Способность разбираться в сложных системах, самостоятельно находить и устранять узкие места.

Хорошо, если есть

• Опыт работы с reward-моделями, process reward models и LLM-as-a-judge.
• Опыт построения сред исполнения, sandboxes и верификаторов для code- или STEM-задач.
• Опыт работы с large-scale inference и оптимизацией генерации, включая vLLM и Sglang.
• Понимание современных open-source стеков для обучения LLM: Verl, Megatron, TRL и другие.
• Публикации, open-source вклад или сильный прикладной track record.

Культура и преимущества

• Сложные задачи на переднем крае развития русскоязычных LLM.
• Влияние на качество модели, отражающееся в бенчмарках и продукте.
• Работа в команде инженеров, исследователей, специалистов по данным и инфраструктуре.
• Возможность совмещать инженерную и исследовательскую работу, участвовать в code review и обмене знаниями.
• Конкурентная компенсация, премии и расширенный социальный пакет.