ML-Разработчик В Команду Претрейна Alice AI VLM (VLM)

Компания

Yandex — технологическая компания, создающая передовые AI-решения и мультимодальные модели.

Что делать

• Исследовать архитектурные решения и режимы обучения VLM для усиления связи между визуальной и текстовой модальностями
• Работать с огромными массивами мультимодальных данных (image-text, OCR, документы, видео, UGC)
• Проектировать масштабируемые пайплайны данных и исследовать scaling laws
• Заниматься распределённым обучением моделей, профилированием узких мест и оптимизацией использования GPU

Требования

• Опыт в CV, NLP и глубокое понимание устройства современных LLM/VLM
• Понимание принципов распределённого обучения больших моделей
• Умение формулировать исследовательские гипотезы и проверять их экспериментально
• Навыки написания чистого, понятного и воспроизводимого кода
• Опыт работы от 3 лет

Хорошо, если есть

• Опыт обучения больших моделей или работы с крупными DL-системами
• Опыт работы с pretrain-пайплайнами для LLM или VLM
• Знакомство с Megatron, DeepSpeed, FSDP, PyTorch Distributed или аналогичными инструментами