MLOps-инженер (AI)

Локация: удаленный формат работы; график 5/2, с 09:00 до 18:00 или с 10:00 до 19:00.

Компания

Miractal развивает внутреннюю инфраструктуру для эксплуатации открытых AI-моделей, корпоративных ассистентов и инструментов разработки.

Что делать

• Развертывать и настраивать серверы инференса на GPU-узлах с использованием vLLM, SGLang или аналогов.
• Подбирать параметры производительности: квантизацию, размер батча, длину контекста, распределение моделей и количество реплик.
• Создавать единый защищенный шлюз LiteLLM с корпоративной аутентификацией, квотами, разграничением прав, журналированием и фильтрацией секретов и персональных данных.
• Настраивать мониторинг и оповещения через Prometheus и Grafana, проводить дежурства, разбирать инциденты и выполнять емкостное планирование.
• Организовать безопасное обновление моделей в закрытом контуре с проверкой подписей и контрольных сумм, внутренним реестром и возможностью отката.
• Строить слой извлечения знаний над репозиториями, документацией и трекером задач, включая загрузку документов, разбиение, эмбеддинги, векторное хранилище и инкрементальные обновления.

Требования

• Опыт вывода моделей в промышленную эксплуатацию, включая работу сервиса с пользователями и дежурство.
• Практический опыт с vLLM, SGLang, TensorRT-LLM или аналогами, а также понимание непрерывного батчинга, кэша контекста и квантизации.
• Уверенный Linux, Docker и работа с NVIDIA GPU, драйверами, CUDA, распределением ресурсов и диагностикой.
• Опыт инфраструктуры как кода, автоматизации выкаток, внутренних реестров артефактов, мониторинга и анализа производительности.
• Уверенный Python для автоматизации и работы с библиотеками инференса.
• Готовность работать в закрытом контуре без внешних сервисов, с процедурами переноса и проверкой целостности.

Хорошо, если есть

• Опыт построения слоя извлечения знаний с учетом прав доступа.
• Опыт эксплуатации в регулируемой среде, включая аудит, разграничение доступа и требования к журналированию.
• Понимание экономики GPU-инфраструктуры и выбора между масштабированием реплик и более крупными узлами.
• Знакомство с клиентскими инструментами разработчиков и умение обучать коллег.

Культура и преимущества

• Удаленный формат работы и график 5/2.
• Мощный рабочий ноутбук.
• 100% компенсация больничных.
• Скидка на изучение английского языка в Skyeng.
• Конкурентная заработная плата обсуждается по итогам интервью.