ML Engineer / Research Engineer (LLM)

Локация: удалённая работа, офис или гибридный формат.

Компания

Yandex развивает Alice AI LLM и продукты на их основе, которыми пользуются миллионы людей.

Что делать

• Исследовать обучающие данные для претрейна: источники, домены, языки, синтетические данные и влияние состава корпуса на знания, reasoning и coding.
• Проводить полный цикл экспериментов по созданию LLM с нуля: формулировать гипотезы, готовить датасеты, запускать proxy-модели, проводить абляции и переносить успешные решения на большие модели.
• Строить scaling laws, разрабатывать proxy-эксперименты и прогнозировать качество крупных моделей по небольшим запускам.
• Исследовать ранние сигналы появления новых способностей и динамику обучения во время претрейна.
• Развивать web-scale обработку корпусов, фильтрацию, ранжирование и дедупликацию документов, балансировку языков и доменов.
• Создавать и поддерживать распределённые пайплайны обработки данных и запускать обучение на GPU-кластерах.

Требования

• От 5 лет опыта.
• Хорошее знание Python.
• Опыт в ML, NLP, LLM или других областях deep learning.
• Понимание принципов работы и обучения трансформеров.
• Умение формулировать гипотезы, ставить контролируемые эксперименты, анализировать результаты и находить причины изменений качества.
• Умение читать исследовательские статьи и оценивать применимость идей на практике; готовность работать с задачами без готовых решений.

Хорошо, если есть

• Опыт претрейна или посттрейна LLM.
• Знание PyTorch и распределённого обучения.
• Опыт обработки больших данных и подготовки обучающих корпусов.
• Знание scaling laws, evaluation LLM и synthetic data.
• Опыт обучения моделей на GPU-кластерах.

Культура и преимущества

• Возможность создавать базовые LLM с нуля, а не только использовать или дообучать готовые модели.
• Работа на стыке исследований, обучения моделей и систем обработки больших данных.
• Влияние на фундаментальные знания и способности моделей Alice AI LLM.
• Доступны удалённый, офисный и гибридный форматы работы.