Назад
2 дня назад

C++ Developer (LLM/GPU)

Формат работы
hybrid
Тип работы
fulltime
Страна
Russia
vacancy_detail.hirify_telegram_tooltipВакансия из Telegram канала -

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Разработчик на C++ в RuntimeNodes
#гибрид
Компания: Яндекс

🔹Какие задачи вас ждут
-Максимизация пропускной способности батч-контура
Одна из возможностей DSL, используемого в рантайме, — контроль сетевого уровня. Это позволяет гибко управлять циклом выполнения приложения. Так мы решаем сложную задачу совмещения сценария ответов в реальном времени (уменьшение задержек, внешнее обеспечение достаточности ресурсов) и батч-контура (максимизация пропускной способности без «переливания» любой из частей системы при околобесконечном спросе и конечной аллокации ресурсов).
-Развитие платформы
Вы будете развивать DSL описания пайплайнов и сервиса их выполнения, анализировать потребности клиентов и продуктовые решения вместе с потребителями. Наша задача — иметь одновременно гибкую систему описания приложений и пренебрежимо малые накладные расходы, чтобы обеспечивать единую среду выполнения как для стадии прототипирования, так и для рантайма.
Совмещение этих подходов требует глубокого понимания сценариев использования и профиля потребления ресурсов. Нужно будет заботиться о низкоуровневых оптимизациях и объёме перекладываемых байт, а также о пайплайнах данных и объёме сетевого взаимодействия, о гибкости и выразительности средств с достаточно сильной системой ограничений, чтобы однажды написанная логика правильно работала в очень разных контекстах.
-Инференс тяжёлых языковых генеративных моделей на GPU
Сердце LLM-продуктов — это непосредственное вычисление LLM-моделей. Вам предстоит решать задачи аллокации различных компонентов, настраивать их взаимодействие с LLM-моделями и релизные процессы, подбирать параметры для оптимизации.

🔹Мы ждём, что вы
-Разрабатывали большой сервис в команде
-Разбираетесь в базовых алгоритмах и структурах данных
-Хорошо знаете С++
-Знакомы с паттернами и идиомами построения программного обеспечения
-Умеете писать надёжный и читаемый многопоточный код



IT Jobs | |

Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Текст вакансии взят без изменений

Источник -