Загружаем источник...Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Backend-разработчик: AI API Router (Python/Node.js)
Требования
Бэкенд разработчик Python FastAPI Redis PostgreSQL Docker REST Микросервисная архитектура LLM Асинхронное программирование
Условия
Можно удалённо App Company
Backend-разработчик: AI API Router (Python/Node.js)
О компании
Мы — команда, развивающая AI-сервис с аудиторией десятков тысяч пользователей и высоким объёмом запросов к AI-провайдерам. Разрабатываем умный роутер запросов между AI-провайдерами (OpenAI, Anthropic, DeepSeek, Google и др.) с интеллектуальной маршрутизацией и оптимизацией расходов.
Что предстоит делать
Разработка с нуля и под ключ. Вы будете единственным разработчиком на этом проекте. Нет legacy-кода, нет чужих решений — вы проектируете архитектуру, выбираете подходы и реализуете всё самостоятельно. Задача — спроектировать и разработать микросервис, который принимает запросы в OpenAI-совместимом формате и интеллектуально маршрутизирует их между AI-провайдерами. Конкретно:
- Разработка API-шлюза с единым эндпоинтом, совместимым с OpenAI API (Chat Completions формат)
- Классификатор входящих запросов по сложности (simple / medium / complex / code / image) — на основе эвристик с последующей эволюцией в ML-модель
- Таблица маршрутизации: какой провайдер и модель используется для каждого типа запроса
- Проксирование запросов к провайдерам (OpenAI, Anthropic, Google, DeepSeek и др.) с поддержкой streaming
- Логирование метрик: стоимость каждого запроса, latency, выбранная модель, токены input/output
- Автоматический fallback при недоступности провайдера (circuit breaker паттерн)
- Внутренний rate limiter per provider для предотвращения каскадных отказов
- Дашборд аналитики: расход по провайдерам, экономия, графики за период
- Кеширование запросов (exact match + semantic cache)
- Система API-ключей, биллинг, rate limiting по ключам
Стек
- Язык: Python (FastAPI/aiohttp) или Node.js (Express/Fastify) — на ваш выбор
- БД: PostgreSQL (биллинг, пользователи, логи), Redis (кеш, rate limiting, circuit breaker state)
- Инфраструктура: Docker, размещение на VPS (DigitalOcean / Selectel)
- API-провайдеры: OpenAI, Anthropic, Google AI, DeepSeek, в будущем — self-hosted модели
Что важно
- Опыт работы с OpenAI API (или аналогичными LLM API) — обязательно
- Понимание streaming (SSE) — обязательно
- Опыт проектирования и разработки микросервисов
- Понимание REST API, работа с несколькими внешними API параллельно
- Умение писать чистый, поддерживаемый код
- Самостоятельность: задачи ставятся на уровне «что нужно получить», а не «как именно сделать»
Будет плюсом:
- Опыт с LLM-роутингом или оркестрацией моделей
- Работа с биллинговыми системами и ЮКассой
- Опыт работы с Redis для кеширования и rate limiting
- Понимание токенизации и ценообразования LLM-моделей
- Опыт с ML (LightGBM/CatBoost) — для развития классификатора
Условия
- Удалённая работа
- Проектная занятость с перспективой постоянного сотрудничества
- Оплата обсуждается индивидуально, в зависимости от опыта
- Прямое общение с основателями, без бюрократии
Почему это интересно
Это не очередной CRUD. Вы проектируете систему, которая в реальном времени принимает решения о маршрутизации тысяч запросов в секунду, оптимизируя баланс между стоимостью, скоростью и качеством. Классификатор запросов эволюционирует от ручных эвристик до самообучающейся ML-модели. Есть реальный трафик с серьёзными объёмами — результат вашей работы виден сразу в цифрах экономии.
Как откликнуться
Напишите коротко: какой у вас опыт с LLM API, на каком стеке предпочитаете работать, и как бы вы подошли к задаче классификации запросов по сложности. Портфолио или GitHub приветствуются.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений