多模型

引言 随着AI应用使用的模型和供应商越来越多，统一管理这些AI服务成为一个迫切需求。AI网关应运而生，它就像API网关一样，为所有AI服务提供统一的入口、路由、负载均衡和监控。本文将对比2026年主流的AI网关方案。 什么是AI网关 核心功能 统一API：一个接口访问所有模型 智能路由：根据任务选择最佳模型 负载均衡：在多个供应商间分配流量 成本控制：监控和限制API费用 缓存：缓存常见查询结果 安全：认证、限流、内容过滤 监控：统一的可观测性 架构 客户端 → AI网关 → 模型供应商 ├→ OpenAI (GPT-5) ├→ Anthropic (Claude 4) ├→ 智谱 (GLM-5) ├→ 自托管 (vLLM) └→ 阿里 (Qwen 3) 主流AI网关 1. LiteLLM 最流行的开源AI网关： from litellm import Router # 配置多供应商 router = Router(model_list=[ {"model_name": "gpt-5", "litellm_params": {"model": "gpt-5", "api_key": "..."}}, {"model_name": "claude-4", "litellm_params": {"model": "claude-4-opus", "api_key": "..."}}, {"model_name": "glm-5", "litellm_params": {"model": "glm-5", "api_key": "..."}}, ]) # 智能路由 response = router.completion( model="gpt-5", # 或 "auto" 自动选择 messages=[{"role": "user", "content": "你好"}] ) 功能： 100+模型供应商支持 OpenAI兼容API 成本追踪 限流和配额 重试和故障转移 缓存 2. Portkey 企业级AI网关： ...

FastChat 概述 FastChat（原 Vicuna 项目）是 LMSYS Org 开发的开源大模型对话平台，核心功能： 多模型对话：同时与多个模型对话，横向对比输出质量 Web UI：基于 Gradio 的聊天界面，支持流式输出 OpenAI 兼容 API：提供标准 API 接口 分布式架构：Controller-Worker 分离，支持多 GPU 节点 模型竞技场：Chatbot Arena 盲测打分系统的开源实现 FastChat 的定位更偏向模型评测和对比，而非纯生产服务。如果你想搭建一个多模型对比平台，FastChat 是最合适的开源方案。 架构解析 ┌─────────────┐ │ Controller │ (中心调度) └──────┬──────┘ ┌────────────┼────────────┐ │ │ │ ┌─────┴─────┐ ┌───┴─────┐ ┌───┴─────┐ │ Worker 0 │ │Worker 1 │ │Worker 2 │ (模型推理) │ Vicuna-13B│ │LLaMA-70B│ │Qwen-14B │ └───────────┘ └─────────┘ └─────────┘ │ │ │ ┌─────┴─────────────┴─────────────┘ │ Gradio Web Server / API │ └─────────────────────────────────┘ Controller：注册中心，管理所有 Worker 的模型信息，做负载均衡 Worker：加载模型，处理推理请求，可分布在多台 GPU 机器 Web Server：Gradio 界面 + REST API 安装 pip install fschat[model_worker,webui] 或从源码安装最新版： ...

LiteLLM 是什么 LiteLLM 是一个统一的 LLM 代理层，用一套 OpenAI 兼容 API 调用 100+ 个模型提供商。它解决的核心问题是：每个 LLM 提供商的 API 格式都不一样。 提供商 API 格式 认证 流式格式 OpenAI /v1/chat/completions Bearer token SSE Anthropic /v1/messages x-api-key SSE (不同结构) Google Gemini /v1/models:generateContent API key JSON streaming Bedrock /model/{id}/invoke AWS Sig v4 Event stream DeepSeek /v1/chat/completions Bearer token SSE LiteLLM 把这些全部统一成 OpenAI 格式。你的应用代码只对接 LiteLLM，换模型只改配置不改代码。 快速部署 Docker 部署 docker run -d \ --name litellm-proxy \ -p 4000:4000 \ -v $(pwd)/config.yaml:/app/config.yaml \ -e LITELLM_MASTER_KEY=sk-1234 \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml 配置文件 # config.yaml model_list: # OpenAI 模型 - model_name: gpt-4o litellm_params: model: openai/gpt-4o api_key: os.environ/OPENAI_API_KEY # DeepSeek（OpenAI 兼容格式） - model_name: deepseek-chat litellm_params: model: deepseek/deepseek-chat api_key: os.environ/DEEPSEEK_API_KEY api_base: https://api.deepseek.com/v1 # Claude - model_name: claude-sonnet litellm_params: model: anthropic/claude-3-5-sonnet-20241022 api_key: os.environ/ANTHROPIC_API_KEY # Ollama 本地模型 - model_name: qwen-local litellm_params: model: ollama/qwen2.5:14b api_base: http://host.docker.internal:11434 # 负载均衡：同一模型名指向多个后端 - model_name: fast-model litellm_params: model: openai/gpt-4o-mini api_key: os.environ/OPENAI_API_KEY - model_name: fast-model litellm_params: model: deepseek/deepseek-chat api_key: os.environ/DEEPSEEK_API_KEY litellm_settings: # 缓存 cache: true cache_params: type: redis host: redis port: 6379 # 限流 max_budget: 100 # 每日 $100 上限 budget_duration: 1d router_settings: routing_strategy: least-busy # 负载均衡策略 num_retries: 3 timeout: 30 fallbacks: - model: gpt-4o fallback_to: [deepseek-chat, qwen-local] 启动验证 # 测试 OpenAI 兼容 API curl http://localhost:4000/v1/chat/completions \ -H "Authorization: Bearer sk-1234" \ -H "Content-Type: application/json" \ -d '{ "model": "deepseek-chat", "messages": [{"role": "user", "content": "Hello"}], "stream": false }' 核心功能 负载均衡 同一 model_name 配置多个后端，LiteLLM 自动分流： ...