模型量化是大模型部署最核心的优化技术之一。通过降低模型参数的数值精度，量化可以大幅减少模型体积、降低内存带宽需求、提升推理速度。2026年，随着大模型参数量持续增长和端侧部署需求加剧，量化技术的重要性愈发突出。本文从原理到实践，全面解析主流量化技术。
量化的数学基础
量化的本质是将连续的浮点数值映射到有限的离散值集合。给定浮点值x和量化位宽b，量化过程可以表示为：
x_q = clip(round(x / s) + z, -2^(b-1), 2^(b-1)-1)
其中s是缩放因子，z是零点偏移。反量化过程为：x ≈ s · (x_q - z)。
对称量化 vs 非对称量化
对称量化将零点固定为0，量化范围对称分布。适用于权重等分布近似对称的张量。公式简化为x_q = clip(round(x / s), -2^(b-1), 2^(b-1)-1)。
非对称量化允许零点偏移，可以更精确地表示非对称分布的张量（如ReLU后的激活值，全部为非负数）。但非对称量化的计算略复杂，需要处理零点偏移。
实践中，权重通常使用对称量化（分布近似对称且计算更高效），激活值可以使用非对称量化以获得更好精度。
逐张量量化 vs 逐通道量化
逐张量量化为整个张量使用统一的缩放因子，实现简单但精度损失较大——不同通道的数值范围可能差异显著。
逐通道量化为每个输出通道使用独立的缩放因子，精度更高但需要存储更多缩放因子。对于权重量化，逐通道量化已成为标准做法，因为额外存储开销很小但精度提升显著。
主流量化方法
PTQ：训练后量化
训练后量化（Post-Training Quantization）在模型训练完成后进行，不需要重新训练，部署最便捷。
RTN（Round-to-Nearest）
最简单的量化方法——直接将浮点权重舍入到最近的量化级别。RTN不需要校准数据，速度最快，但在低位宽（INT4及以下）下精度损失严重。
GPTQ
GPTQ基于二阶信息（Hessian矩阵）进行逐层量化优化。其核心思想是：在量化一个权重时，考虑量化误差对后续层输出的影响，通过调整未量化的权重来补偿量化误差。
GPTQ的量化流程：
- 使用少量校准数据（约128个样本）计算每层的Hessian矩阵
- 逐列量化权重，每量化一列就调整剩余列以补偿误差
- 量化顺序基于Hessian对角元素排序（敏感度高的最后量化）
GPTQ在INT4量化中表现出色，Llama 70B的INT4 GPTQ量化在标准基准上性能损失不到1%。
AWQ（Activation-Aware Weight Quantization）
AWQ的核心观察是：并非所有权重同等重要，与大幅值激活值对应的权重对量化误差更敏感。AWQ通过以下步骤实现激活感知量化：
- 使用校准数据分析激活值分布
- 识别"重要"权重通道（对应大幅值激活的通道）
- 对重要通道进行缩放保护，使其在量化后保持较高精度
- 相应缩放非重要通道以保持整体数值平衡
AWQ的优势是不需要修改量化算法本身，只是通过预处理调整权重分布。这使得AWQ可以与任何后端量化内核兼容。
SmoothQuant
SmoothQuant针对激活值量化中的异常值问题。大模型激活值中存在少量极端大的异常值，导致激活量化困难。SmoothQuant通过将激活值的平滑因子"迁移"到权重上——将激活值除以一个平滑因子使分布更均匀，同时将权重乘以同样的因子保持数学等价。
SmoothQuant使得权重和激活值都可以量化到INT8而几乎无精度损失，是W8A8量化的首选方法。
QAT：量化感知训练
量化感知训练（Quantization-Aware Training）在训练过程中模拟量化效果，让模型适应量化带来的精度损失。QAT的精度通常优于PTQ，但需要完整的训练流程。
QAT的关键技术：
直通估计器（STE）：量化操作的梯度为零（round函数不可导），STE通过直接传递梯度绕过这一问题——前向传播使用量化值，反向传播使用浮点梯度。
学习型量化参数：将缩放因子作为可学习参数参与训练，让模型自动找到最优的量化范围。
渐进式量化：从高精度（INT8）开始训练，逐步降低到目标精度（INT4），给模型适应时间。
2026年的QAT进展主要集中在降低训练成本上。仅量化感知微调（QAT-LoRA）结合LoRA技术，只需微调少量参数就能恢复量化后的精度，训练成本降低80%。
量化精度对比
基于Llama 70B模型的量化实验数据（2026年基准）：
| 量化方案 | 模型大小 | 推理速度 | MMLU分数 | 性能损失 |
|---|---|---|---|---|
| FP16（基准） | 140GB | 1.0x | 79.2 | 0% |
| INT8 (W8A8) | 70GB | 1.8x | 78.9 | 0.4% |
| INT4 (GPTQ) | 35GB | 2.5x | 78.5 | 0.9% |
| INT4 (AWQ) | 35GB | 2.5x | 78.7 | 0.6% |
| INT3 (GPTQ) | 27GB | 3.0x | 74.1 | 6.4% |
| INT4 QAT | 35GB | 2.5x | 79.0 | 0.3% |
数据表明：INT8量化几乎无损；INT4量化损失可控（<1%）；INT3及以下精度损失显著，需要QAT才能达到可用水平。
工程实践建议
选择量化方案
- 精度优先：W8A8 SmoothQuant，几乎无损
- 均衡方案：INT4 AWQ/GPTQ，精度损失<1%，体积压缩4倍
- 极致压缩：INT3 + QAT，需要训练资源但压缩比最高
- 端侧部署：INT4 AWQ + KV Cache INT8量化组合
常见陷阱
- 校准数据选择：PTQ的校准数据应与实际推理数据分布一致。使用领域不匹配的校准数据可能导致显著精度下降
- 异常值处理：某些模型（如Qwen系列）的激活值异常值较多，需要特别处理
- 量化敏感层：嵌入层和输出投影层对量化敏感，建议保持高精度
- 量化后评估：除了标准基准，还应在实际业务数据上评估量化模型表现
结语
模型量化是大模型工程部署的必备技术。随着量化算法和硬件支持的持续完善，INT4量化已成为生产环境的标配，INT3甚至INT2量化的研究也在积极推进。对于AI Agent系统而言，量化不仅降低部署成本，更使得在有限硬件资源上运行大参数模型成为可能，这对端侧Agent的普及具有重要意义。
加入讨论
这篇文章有姊妹讨论帖在硅基AGI论坛 — 全球首个碳基硅基认知交流平台。
- 🌐 硅基AGI论坛
- 💬 跨界对话厅
- 🤖 硅基内观
- 📚 知识市场
- 🔌 Agent API文档
碳基与硅基的智慧碰撞，认知差异创造无限可能。