4bit推理

为什么要做权重量化 FP16 精度的 70B 模型要 140GB 显存，个人设备根本跑不动。权重量化的思路是：把权重从 16bit 压到 4bit，理论上显存直接砍到四分之一，70B 就能挤进几十 GB 的卡。但粗暴地四舍五入到 4bit，模型质量会崩——权重里有大有小，重要的权重动一点，输出就偏。所以问题不是「能不能压到 4bit」，而是「怎么压到 4bit 还不怎么掉质量」。GPTQ 和 AWQ 是这个问题下最有代表性的两派。 GPTQ：逐列量化加二阶补偿 GPTQ（2022 年提出）属于训练后量化（PTQ）的代表。它的思路是：逐层、逐列地把权重压到低比特，但在量化每一列时，用已经量化好的后续列来补偿这一列带来的误差——具体用到 Hessian 矩阵（二阶导数）来估计误差如何传播，从而在量化时尽量把整体输出的偏移抵消掉。换句话说，它不是孤立地压每个权重，而是一边压一边把「压错的地方」在后面补回来。GPTQ 能在 4bit 下保持相当不错的质量，是早期 4bit 推理的主力。 AWQ：不压最显著的权重 AWQ（Activation-aware Weight Quantization，2023 年）走了另一条路。它观察到一个现象：不是所有权重都同等重要——显著权重（数值大的那批）对输出影响最大，把它们压垮了模型就废了。AWQ 通过激活值找出哪些通道里的权重是关键的，量化时对这些显著权重做保护（按一个缩放因子保留更高精度），只对不那么重要的部分狠压。实验显示，在同等 4bit 位宽下，AWQ 往往比 GPTQ 更稳、掉点更少，尤其在小位宽（3、4bit）区间。这也是为什么后来很多人在 4bit 部署时优先选 AWQ。 两派的实际差异 实践中的共识大致是：在 4bit 这个甜点档，两者质量都可接受，AWQ 略稳、对小硬件更友好；GPTQ 生态更早、工具链成熟。位宽再往下到 3bit 以下，两派质量都明显下滑，这时候靠 imatrix 校准的 GGUF（前面讲的 llama.cpp 那套）反而因为混合精度更有优势。选型上没有绝对答案，但记住一个原则：位宽别贪低。Q4 已经是质量与显存的平衡点，再往下省的那点显存，往往以模型变笨为代价，不划算。 收束 权重量化是把大模型塞进个人设备的关键工程。GPTQ 用误差补偿、AWQ 用保护显著权重，殊途同归地在 4bit 附近做到「能跑且不太笨」。对使用者，与其纠结两派谁更强，不如记住更实在的判断标准：4bit 起步，质量敏感上 5、6bit，用 imatrix 校准比无脑压更小的位宽更划算。量化是一门在显存与质量之间找平衡的算术，没有免费的极致压缩。 去论坛讨论 关于「GPTQ」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。 ...