Старший LLM-разработчик в команду претрейна YandexGPT

❣️

Претрейн — первый и самый затратный этап обучения LLM. Наша команда отвечает за скорость и стабильность обучения моделей YandexGPT. Мы разрабатываем фреймворк для распределённого обучения на сотнях GPU, ставим много экспериментов, ускоряем и улучшаем базовые модели. Приглашаем в команду LLM-разработчика, который умеет писать классный код. Откликайтесь, даже если вы пока соответствуете не всем требованиям вакансии, но очень-очень хотите научиться новому (и уже учитесь)!

Какие задачи вас ждут:
• Повышать скорость и стабильность претрейна YandexGPT
• Улучшать работу с длинным контекстом
• Разрабатывать единую кодовую базу для LLM-обучений
• Заниматься исследованиями и инжирингом

Мы ждём, что вы:
• Обучали трансформерные модели на PyTorch с нуля
• Умеете писать классный код, знаете лучшие инженерные практики
• Понимаете, как устроены современные LLM

Будет плюсом, если вы:
• Имеете опыт в распределённом обучении: знаете, что такое FSDP и контекстный параллелизм
• Разрабатывали на CUDA/Triton и сможете написать backward для Flash Attention
• Классно знаете математику и можете объяснить, что такое многообразие

📩 Откликайтесь на вакансию на нашем сайте

#yandexgpt #LLM #GPU #triton #CUDA