✅Мы ищем инженера с коммерческим опытом развертывания и донастройки LLM в локальной инфраструктуре. Нам нужен человек, сочетающий глубокое понимание ML/AI с инфраструктурным мышлением: тот, кто не только обучает модели, но и выстраивает всю цепочку от GPU-сервера до продакшен-эндпоинта.
🛠 Чем предстоит заниматься:
-Инфраструктура и инференс: Развертывание и обслуживание LLM на локальных GPU-серверах (vLLM, TGI, Triton, Ollama).
-Дообучение: SFT, LoRA, QLoRA на корпоративных данных.
-Оптимизация: Настройка батчинга, расширение контекстного окна, кастомизация токенизации.
-Интеграция: Настройка Structured Output (JSON/Pydantic) для интеграции AI-ответов в корпоративные системы.
-Бенчмаркинг & Анализ: Выбор моделей под задачи, сравнительный анализ (Qwen, LLaMA, Mistral и др.), участие в проектировании архитектуры AI-сервисов.
-Мониторинг: Контроль качества моделей (Langfuse, Prometheus/Grafana).
🎯 Что мы ждем от кандидата (Must-have):
-Коммерческий опыт локального развертывания LLM на GPU (vLLM, TGI, Triton или аналоги).
-Практический опыт дообучения моделей (LoRA, SFT или QLoRA - хотя бы один успешный кейс).
-Глубокая работа с GPU: понимание VRAM, квантизации (GPTQ, AWQ, GGUF) и batching-стратегий.
-Четкое понимание метрик инференса: latency, throughput, tokens/sec, TTFT.
➕ Будет плюсом (Nice-to-have):
-Опыт работы с bare-metal GPU-серверами (H100/H200, A100, V100).
-Навыки Prompt Engineering (Chain-of-Thought, Few-Shot, системные промпты).
-Опыт с ML-observability (Langfuse, MLflow, Prometheus) или инструментами IaC (Terraform / Ansible).
-Опыт в смежных сферах: Computer Vision, NLP/Audio (транскрибация, анализ текста).
🤝Что по условиям:
•Оформление: ИП
•Формат работы: удаленка (возможна одна командировка в Ереван для знакомства)
•Локация: Любая
•Уровень дохода: обсуждается индивидуально по итогам интервью
📩 Контакт: Показать контакты
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник - Telegram канал. Название доступно после авторизации