Создание облачной платформы LLM: лучшие практики и соображения

Мы создаем легкий многомодельный шлюз LLM в FastAPI, который направляет запросы к лучшей модели Oxlo.ai для этой задачи. Если вам нужно внедрить внутренние инструменты искусственного интеллекта без управления инфраструктурой, это позволит вам получить работающую серверную часть менее чем за час. Что вам понадобится Загрузите Python 3.10+, ключ API Oxlo.ai с https://portal.oxlo.ai, и установите зависимости. pip install openai fastapi uvicorn pydantic python-dotenv Шаг 1. Создайте проект Я начинаю с одного файла main.py и файла .env, чтобы не допустить попадания секретов в код. # .env OXLO_API_KEY=ВАШ_OXLO_API_KEY Шаг 2. Инициализируйте клиент Oxlo.ai и реестр модели. Я настраиваю OpenAI-совместимый клиент так, чтобы он указывал на Oxlo.ai и определял, какие модели может использовать шлюз. Oxlo.ai использует фиксированную цену за каждый запрос, поэтому перенаправление на более крупную модель для сложных задач не увеличивает наши счета, как это произошло бы при ценообразовании на основе токенов. Подробности см. на https://oxlo.ai/pricing. импортировать ОС из openai импорт OpenAI из dotenv импорта load_dotenv load_dotenv() клиент = OpenAI( base_url="https://api.oxlo.ai/v1", api_key=os.getenv("OXLO_API_KEY") ) МОДЕЛЬ_РЕГИСТРИЯ = { "общий": "лама-3.3-70б", "кодирование": "deepseek-v3.2", "рассуждение": "глубокий поиск