Backend Developer (AI)

TL;DR

Backend-разработчик (AI): Проектирование и разработка интеллектуального роутера запросов к LLM-провайдерам с акцентом на высокую нагрузку и оптимизацию затрат. Фокус на построении масштабируемой микросервисной архитектуры, интеграции с AI API и реализации алгоритмов интеллектуальной маршрутизации.

Локация: Удалённо (РФ)

Зарплата: 200 000 – 350 000 ₽

Компания

Команда, развивающая высоконагруженный AI-сервис с интеллектуальной маршрутизацией запросов между провайдерами.

Что делать

• Спроектировать и реализовать микросервис-шлюз, совместимый с OpenAI API.
• Разработать систему интеллектуальной маршрутизации запросов между AI-провайдерами (OpenAI, Anthropic, DeepSeek и др.).
• Настроить логирование метрик, включая latency, стоимость запросов и расход токенов.
• Реализовать систему кеширования (semantic cache) и защиты от отказов (circuit breaker, rate limiting).
• Спроектировать дашборд аналитики для мониторинга расходов и эффективности моделей.
• Обеспечить биллинг и управление API-ключами пользователей.

Требования

• Опыт работы с OpenAI API или аналогичными LLM API.
• Глубокое понимание streaming (SSE).
• Опыт проектирования и разработки микросервисных архитектур.
• Уверенное владение Python (FastAPI/aiohttp) или Node.js (Express/Fastify).
• Опыт работы с PostgreSQL и Redis.
• Умение писать чистый, поддерживаемый код и работать автономно.

Хорошо, если есть

• Опыт работы с LLM-роутингом или оркестрацией моделей.
• Навыки работы с ML (LightGBM/CatBoost) для классификации запросов.
• Опыт настройки биллинговых систем.
• Понимание механики токенизации и ценообразования LLM.

Культура и преимущества

• Полностью удалённая работа.
• Прямое взаимодействие с основателями проекта, отсутствие бюрократии.
• Проектная занятость с перспективой долгосрочного сотрудничества.
• Возможность влиять на архитектурные решения с нуля.