引言
LLM服务框架决定了模型的推理速度、资源利用率和最终的服务成本。2026年，vLLM、TGI、TensorRT-LLM等框架在性能上你追我赶。本文将通过系统化测试，帮你选择最佳的LLM服务框架。
参评框架
| 框架 | 厂商 | 版本 | 特点 |
|---|---|---|---|
| vLLM | UC Berkeley | 0.8 | PagedAttention，通用性强 |
| TGI | HuggingFace | 3.0 | 生态丰富，易用 |
| TensorRT-LLM | NVIDIA | 0.15 | NVIDIA官方，性能极致 |
| llama.cpp | 开源 | b3500 | CPU/GPU通用，轻量 |
| MLServer | Seldon | 1.5 | 企业级，多协议 |
| Ollama | Ollama | 0.5 | 最易用，生态好 |
| LMDeploy | 上海AI Lab | 0.5 | 国产优化，全流程 |
性能基准
吞吐量（tokens/s）
在A100 80GB上运行GLM-5 32B：
| 框架 | FP16 | INT8 | INT4 | 并发32 |
|---|---|---|---|---|
| vLLM | 285 | 380 | 520 | 3500 |
| TGI | 210 | 290 | 410 | 2800 |
| TensorRT-LLM | 320 | 430 | 580 | 4200 |
| llama.cpp | 85 | 150 | 210 | - |
| LMDeploy | 270 | 365 | 500 | 3200 |
延迟
单请求延迟（P95）：
| 框架 | 首 token(ms) | 完整(s) | 流式(ms/token) |
|---|---|---|---|
| vLLM | 150 | 2.1 | 12 |
| TGI | 200 | 2.8 | 15 |
| TensorRT-LLM | 80 | 1.5 | 8 |
| llama.cpp | 500 | 8.5 | 35 |
| LMDeploy | 140 | 2.0 | 11 |
显存效率
GLM-5 32B的显存占用：
| 框架 | FP16 | INT4 | KV Cache优化 |
|---|---|---|---|
| vLLM | 64GB | 18GB | PagedAttention |
| TGI | 66GB | 20GB | Flash Attention |
| TensorRT-LLM | 60GB | 16GB | 自定义 |
| llama.cpp | 68GB | 18GB | mmap |
| LMDeploy | 64GB | 18GB | PagedAttention |
功能对比
量化支持
| 框架 | INT8 | INT4 | GPTQ | AWQ | GGUF |
|---|---|---|---|---|---|
| vLLM | ✓ | ✓ | ✓ | ✓ | ✗ |
| TGI | ✓ | ✓ | ✓ | ✓ | ✗ |
| TensorRT-LLM | ✓ | ✓ | ✓ | ✓ | ✗ |
| llama.cpp | ✓ | ✓ | ✗ | ✗ | ✓ |
| LMDeploy | ✓ | ✓ | ✓ | ✓ | ✗ |
模型支持
| 框架 | Llama | GLM | Qwen | DeepSeek | MoE模型 |
|---|---|---|---|---|---|
| vLLM | ✓ | ✓ | ✓ | ✓ | ✓ |
| TGI | ✓ | ✓ | ✓ | ✓ | ✓ |
| TensorRT-LLM | ✓ | ✓ | ✓ | ✓ | ✓ |
| llama.cpp | ✓ | ✓ | ✓ | ✓ | ✓ |
| LMDeploy | ✓ | ✓ | ✓ | ✓ | ✓ |
API兼容
| 框架 | OpenAI兼容 | 流式 | 批处理 | 工具调用 |
|---|---|---|---|---|
| vLLM | ✓ | ✓ | ✓ | ✓ |
| TGI | ✓ | ✓ | ✓ | ✓ |
| TensorRT-LLM | ✓(Triton) | ✓ | ✓ | ✗ |
| llama.cpp | ✓ | ✓ | ✗ | ✗ |
| LMDeploy | ✓ | ✓ | ✓ | ✓ |
高级特性
| 特性 | vLLM | TGI | TRT-LLM | LMDeploy |
|---|---|---|---|---|
| 投机解码 | ✓ | ✗ | ✓ | ✓ |
| LoRA动态加载 | ✓ | ✗ | ✓ | ✓ |
| 多GPU并行 | ✓ | ✓ | ✓ | ✓ |
| 持续批处理 | ✓ | ✓ | ✓ | ✓ |
| 语法约束 | ✓ | ✗ | ✓ | ✗ |
| 多模态 | ✓ | ✓ | ✓ | ✗ |
易用性
部署复杂度
| 框架 | 部署难度 | 配置项数 | 文档质量 |
|---|---|---|---|
| vLLM | ★★☆☆☆ | 少 | ★★★★★ |
| TGI | ★★☆☆☆ | 中 | ★★★★☆ |
| TensorRT-LLM | ★★★★☆ | 多 | ★★★☆☆ |
| llama.cpp | ★☆☆☆☆ | 少 | ★★★★☆ |
| LMDeploy | ★★☆☆☆ | 中 | ★★★★☆ |
快速启动
# vLLM - 最简单
python -m vllm.entrypoints.openai.api_server --model glm-5-32b
# TGI
docker run --gpus all -p 8080:80 \
ghcr.io/huggingface/text-generation-inference:latest \
--model glm-5-32b
# TensorRT-LLM - 最复杂
# 1. 编译模型引擎
trtllm-build --model_dir glm-5-32b --output_dir engine
# 2. 部署服务
python -m tensorrt_llm.tools.run_server --engine_dir engine
# LMDeploy
lmdeploy serve api_server glm-5-32b
国产模型优化
对于GLM-5、Qwen3等国产模型：
| 框架 | GLM-5优化 | Qwen3优化 | 中文支持 |
|---|---|---|---|
| vLLM | ★★★★☆ | ★★★★☆ | ★★★★☆ |
| LMDeploy | ★★★★★ | ★★★★★ | ★★★★★ |
| TGI | ★★★☆☆ | ★★★☆☆ | ★★★☆☆ |
| TensorRT-LLM | ★★★★☆ | ★★★★☆ | ★★★☆☆ |
LMDeploy对国产模型优化最深入。
成本分析
单位推理成本
以100万token为例（A100集群）：
| 框架 | 每百万token成本 | 相对效率 |
|---|---|---|
| TensorRT-LLM | $0.15 | 100% |
| vLLM | $0.22 | 68% |
| LMDeploy | $0.20 | 75% |
| TGI | $0.30 | 50% |
| llama.cpp | $0.80 | 19% |
选型建议
性能优先
推荐：TensorRT-LLM
- 最快推理速度
- 最低延迟
- NVIDIA硬件最优
通用性优先
推荐：vLLM
- 性能优秀
- 功能全面
- 社区活跃
国产模型优先
推荐：LMDeploy
- 国产模型优化好
- 中文支持优秀
- 全流程工具
简单易用
推荐：Ollama
- 一键部署
- 生态丰富
- 适合开发测试
CPU推理
推荐：llama.cpp
- CPU推理最强
- 跨平台
- 轻量级
2026年趋势
1. 投机解码普及
所有主流框架都支持投机解码，推理速度提升2-3倍。
2. 多模态推理
从纯文本扩展到图像、视频、音频推理。
3. 自动优化
根据硬件和模型自动选择最优配置。
4. 边缘推理
框架开始支持边缘设备推理。
结语
2026年的LLM服务框架竞争格局：TensorRT-LLM在性能上领先，vLLM在通用性上最佳，LMDeploy在国产模型上优秀，llama.cpp在CPU推理上无敌。
记住：选择推理框架时，不要只看吞吐量数字，还要考虑延迟、功能、易用性和你的具体模型。最好的框架是能在你的硬件上最优运行你的模型的那个。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞，认知差异创造无限可能。