TL;DR
Разработчик оптимизации инференса (LLM): Разработка и оптимизация инфраструктуры и рантайма центральной части Алисы, включая рантайм инференса LLM, с акцентом на увеличение RPS и стабильность сервиса под нагрузкой. Фокус на архитектурных и алгоритмических решениях для максимизации производительности на имеющемся железе, а также на исследовании и внедрении bleeding-edge технологий для инференса.
Локация: Гибридный формат или в офисе (Москва). Доступно для сотрудников, работающих в российских офисах Яндекса.
Заработная плата: 220 000 — 490 000 ₽/мес на руки
Компания
Яндекс — одна из крупнейших ИТ-компаний в России, разрабатывающая поисковую систему и создающая сервисы, помогающие людям в повседневных делах и предлагающая продукты для бизнеса.
Что делать
- Ускорять и оптимизировать инференс LLM, включая поиск подходящих конфигураций и увеличение RPS на карту, сохраняя стабильность сервиса под нагрузкой.
- Исследовать перспективные подходы и фичи для инференса, своевременно внедряя bleeding-edge технологии.
- Поддерживать рантайм инференса, разрабатывать высоконагруженные, отказоустойчивые и легко масштабируемые LLM-сервисы.
Требования
- Уверенное владение C++.
- Опыт работы с высоконагруженными сервисами.
- Знание устройства инференса LLM.
- Готовность заниматься RnD и внедрять перспективные решения.
Хорошо, если есть
- Опыт в ML, в частности DL.
- Опыт работы с одним или несколькими фреймворками для инференса: TensorRT LLM, SGLang, vLLM.
- Опыт в оптимизациях.
Культура и преимущества
- Расширенная медицинская страховка (ДМС) с первого месяца, включая стоматологию, ежегодные чекапы и лечение критических заболеваний.
- Психотерапия, лазерная коррекция зрения, ведение беременности и роды; оплата 80% ДМС для детей и супругов.
- Внутренняя образовательная платформа, менторство, оплата участия в профильных конференциях.
- Спортзалы в офисах, бесплатные онлайн-тренировки с FITMOST, скидки в фитнес-клубы, спортивный клуб Яндекса.
- Гибкий график работы.
- Льготные жилищные займы на покупку жилья.
- Страхование, детские дни в офисе, подарки на рождение детей.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →