Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior LLM Developer (AI): Разработка и оптимизация процессов претрейна больших языковых моделей Alice AI LLM с акцентом на скорость, стабильность и масштабирование обучения на тысячах GPU. Фокус на создании единой кодовой базы для DL-библиотек, оптимизации работы с длинным контекстом и имплементации передовых исследований в области LLM.
Локация: Гибридный формат
Компания
Yandex — глобальная технологическая компания, разрабатывающая передовые решения в области генеративного ИИ и поисковых систем.
Что делать
- Повышать скорость и стабильность претрейна Alice AI LLM, оптимизируя распределенное обучение.
- Разрабатывать CUDA/Triton-кернелы и использовать типы пониженной точности для ускорения вычислений на тысячах GPU.
- Работать над инженерными вызовами по поддержке контекстов длиной в сотни тысяч токенов.
- Проектировать и писать с нуля модули единой кодовой базы для всего стека обучения (от претрейна до алаймента).
- Проводить исследования, изучать SOTA-статьи и внедрять новые архитектуры и оптимизаторы в продукт.
Требования
- Опыт работы от 3 лет.
- Опыт обучения трансформерных моделей на PyTorch с нуля.
- Глубокое понимание устройства современных LLM.
- Владение лучшими инженерными практиками написания кода.
Хорошо, если есть
- Опыт в распределенном обучении (знание FSDP и контекстного параллелизма).
- Навыки разработки на CUDA/Triton (например, написание backward для Flash Attention).
- Сильная математическая подготовка.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →