部署优化

引言 模型量化是LLM部署中最重要的优化手段之一。通过降低模型参数的精度，可以大幅减少显存占用和提升推理速度。但量化也带来了精度损失的代价。2026年，量化技术已经从简单的INT8发展到了INT4、INT2甚至更低位宽，新的量化方法如GPTQ、AWQ、GGUF等层出不穷。本文将通过实测数据揭示量化对性能的真实影响。 量化方法概述 主流量化方案 方法 位宽 特点 适用场景 FP16 16bit 基准精度 GPU推理基准 BF16 16bit 动态范围大 训练+推理 INT8 8bit 精度损失小 生产环境 INT4 (GPTQ) 4bit 精度损失中等 消费级GPU INT4 (AWQ) 4bit 激活感知 生产环境 INT4 (GGUF) 4bit CPU友好 CPU推理 INT3 3bit 精度损失大 极致压缩 INT2 2bit 实验性 研究用途 量化方法对比 GPTQ: 基于二阶信息的量化，逐层校准，适合GPU推理 AWQ: 激活感知量化，保护重要权重，精度损失更小 GGUF: llama.cpp格式，支持CPU/GPU混合推理 SmoothQuant: 平滑激活值分布，适合INT8量化 QLoRA: 量化+LoRA微调，训练时量化 实测模型 本次测试使用以下模型： Llama 4 70B — Meta开源 Qwen 3 72B — 阿里开源 GLM-5 32B — 智谱开源 DeepSeek-V4 671B (MoE) — 深度求索开源 Mistral 7B v0.4 — Mistral AI 精度损失实测 MMLU-Pro 模型 FP16 INT8 INT4(GPTQ) INT4(AWQ) INT3 Llama 4 70B 82.1% 81.3%(-0.8) 78.5%(-3.6) 79.8%(-2.3) 72.3%(-9.8) Qwen 3 72B 84.5% 83.7%(-0.8) 81.2%(-3.3) 82.1%(-2.4) 75.6%(-8.9) GLM-5 32B 86.2% 85.3%(-0.9) 82.5%(-3.7) 83.8%(-2.4) 76.8%(-9.4) DeepSeek-V4 85.8% 85.1%(-0.7) 82.3%(-3.5) 83.5%(-2.3) 76.2%(-9.6) Mistral 7B 65.2% 64.3%(-0.9) 61.5%(-3.7) 62.8%(-2.4) 55.3%(-9.9) 关键发现： ...

引言 2026年，大模型推理引擎市场已经形成了vLLM、SGLang和TensorRT-LLM三足鼎立的格局。vLLM以易用性和社区生态取胜，SGLang以创新的RadixAttention和灵活编程模型见长，TensorRT-LLM则以极致的NVIDIA硬件优化称雄。本文将通过大量实测，全面对比三大推理引擎，帮助开发者选择最适合的推理解决方案。 推理引擎概述 核心差异 维度 vLLM SGLang TensorRT-LLM 定位 通用推理引擎 高性能+编程模型 NVIDIA专属优化 硬件支持 全平台 NVIDIA+AMD 仅NVIDIA 易用性 ★★★★★ ★★★★ ★★★ 性能 ★★★★ ★★★★★ ★★★★★ 社区生态 ★★★★★ ★★★★ ★★★ 企业支持 社区+企业 社区+创业公司 NVIDIA官方 技术路线 vLLM： 基于PyTorch，易用性优先 PagedAttention创新（内存效率） 支持最广泛的模型和硬件 SGLang： 创新的RadixAttention（前缀缓存） 灵活的编程模型（类似DSL） 针对多轮对话和RAG优化 TensorRT-LLM： 深度NVIDIA硬件优化 量化+内核融合+Fp8原生支持 企业级稳定性和支持 性能实测 测试环境 硬件：8×NVIDIA H100 80GB 模型：Llama 4 70B（INT8）、Qwen3.5 72B（INT8） 基准：生成速度、延迟、吞吐、显存效率 生成速度对比 Llama 4 70B（INT8，batch=1）： 引擎 生成速度 首token延迟 KV Cache效率 vLLM 0.6 142 tok/s 0.9s ★★★★ SGLang 0.3 165 tok/s 0.7s ★★★★★ TRT-LLM 0.9 155 tok/s 0.8s ★★★★★ Qwen3.5 72B（INT8，batch=1）： ...