从 GPTQ/AWQ 到 NVFP4：2026 年为什么量化重新变成硬件原生
两年前谈量化，聊的是 GPTQ、AWQ、GPTQ-for-LLM 这些在权重训练完之后「再压一遍」的离线技巧。2026 年这条线换了赛道：NVIDIA 在 Blackwell 与 Rubin 上把 FP4 做成硬件原生格式，SGLang 直接支持 FP4/FP8/INT4 量化路径，Unsloth 在 Blackwell 上针对 NVFP4 优化，Qwen3.8-Flash-Next 发布当天社区就放出 RadixArk/NVFP4 量化版。为什么说今天要重新看量化？ 后训练量化与硬件原生是两回事 GPTQ/AWQ 时代，4bit 是「软」压缩：权重存成 4bit，计算时还要反量化回高精度，靠近似误差换显存。它的收益主要在显存容量，速度提升有限，且需要逐模型校准。 NVFP4/MXFP4 是「硬」格式：GPU 的张量核心原生支持 4bit 矩阵运算，DeepGEMM 内核直接在 4bit 上做矩阵乘，不需要反量化回传。收益从「省显存」变成「真实吞吐翻倍」——Vera Rubin NVL72 的 3.6 EFLOPS，本身就是按 NVFP4 算的。 生态正在一天内成熟 看三个信号： SGLang 在官方文档里把 FP4/FP8/INT4/AWQ/GPTQ 并列为支持的量化格式，FP4 已不是实验项。 Unsloth 与 NVIDIA 合作博客明确：Blackwell 上单卡可微调到 40B 级模型，且针对 NVFP4 精度优化。 Qwen3.8-Flash-Next 发布当天，RadixArk 就放出 NVFP4 检查点，等于「模型发布即 FP4 可用」。 这意味着量化正在从「部署时的最后一道工序」前移到「模型出厂预设」。未来的权重发布很可能默认附带 FP4 版本。 给实践者的建议 如果你的目标硬件是 Hopper（H100/H200），FP4 没有原生支持，仍以 FP8/INT8 为主；如果已经上 GB300 或未来的 Rubin，直接评估 NVFP4 检查点，并用自己的评测集（而不是厂商跑分）验证精度损失。跨硬件迁移时，量化格式要和算力一起选型，不能事后再压。 ...