ML Engineer / Research Engineer (LLM)

Локация: гибридный формат, удалённая работа или работа из офиса.

Компания

Разработка продуктов Яндекса на базе фундаментальных моделей Alice AI LLM.

Что делать

• Исследовать влияние веб-данных, специализированных корпусов и синтетики на знания, reasoning, coding и другие способности LLM.
• Проходить полный цикл создания моделей: формулировать гипотезы, готовить датасеты, запускать proxy-модели, проводить абляции и анализировать результаты.
• Строить scaling laws, разрабатывать proxy-эксперименты и прогнозировать качество крупных моделей по небольшим запускам.
• Исследовать динамику обучения и ранние сигналы возникновения новых способностей моделей.
• Развивать обработку web-scale корпусов, фильтрацию, ранжирование и дедупликацию документов, балансировку языков и доменов.
• Создавать автоматические и распределённые пайплайны обработки данных и переносить успешные методы в обучение больших моделей на GPU-кластерах.

Требования

• От 3 лет опыта.
• Хорошее знание Python.
• Опыт в ML, NLP, LLM или других областях deep learning.
• Понимание принципов работы и обучения трансформеров.
• Навыки формулирования гипотез, постановки контролируемых экспериментов и анализа причин изменений качества.
• Умение читать исследовательские статьи и применять идеи к задачам без готовых решений.

Хорошо, если есть

• Опыт в претрейне или посттрейне LLM.
• Знание PyTorch и распределённого обучения.
• Опыт обработки больших данных и подготовки обучающих корпусов.
• Знание scaling laws, evaluation LLM и synthetic data.
• Опыт обучения моделей на GPU-кластерах.

Культура и преимущества

• Возможность заниматься созданием LLM с нуля, а не только использованием или дообучением готовых моделей.
• Работа на стыке исследований, обучения моделей и систем обработки больших данных.
• Влияние на фундаментальные знания и способности моделей, используемых в продуктах Яндекса.
• Доступ к задачам масштабного претрейна и GPU-кластерам.