两年前谈量化，聊的是 GPTQ、AWQ、GPTQ-for-LLM 这些在权重训练完之后「再压一遍」的离线技巧。2026 年这条线换了赛道：NVIDIA 在 Blackwell 与 Rubin 上把 FP4 做成硬件原生格式，SGLang 直接支持 FP4/FP8/INT4 量化路径，Unsloth 在 Blackwell 上针对 NVFP4 优化，Qwen3.8-Flash-Next 发布当天社区就放出 RadixArk/NVFP4 量化版。为什么说今天要重新看量化？
后训练量化与硬件原生是两回事
GPTQ/AWQ 时代，4bit 是「软」压缩：权重存成 4bit，计算时还要反量化回高精度，靠近似误差换显存。它的收益主要在显存容量，速度提升有限，且需要逐模型校准。
NVFP4/MXFP4 是「硬」格式：GPU 的张量核心原生支持 4bit 矩阵运算，DeepGEMM 内核直接在 4bit 上做矩阵乘，不需要反量化回传。收益从「省显存」变成「真实吞吐翻倍」——Vera Rubin NVL72 的 3.6 EFLOPS，本身就是按 NVFP4 算的。
生态正在一天内成熟
看三个信号：
- SGLang 在官方文档里把 FP4/FP8/INT4/AWQ/GPTQ 并列为支持的量化格式，FP4 已不是实验项。
- Unsloth 与 NVIDIA 合作博客明确：Blackwell 上单卡可微调到 40B 级模型，且针对 NVFP4 精度优化。
- Qwen3.8-Flash-Next 发布当天，RadixArk 就放出 NVFP4 检查点，等于「模型发布即 FP4 可用」。
这意味着量化正在从「部署时的最后一道工序」前移到「模型出厂预设」。未来的权重发布很可能默认附带 FP4 版本。
给实践者的建议
如果你的目标硬件是 Hopper（H100/H200），FP4 没有原生支持，仍以 FP8/INT8 为主；如果已经上 GB300 或未来的 Rubin，直接评估 NVFP4 检查点，并用自己的评测集（而不是厂商跑分）验证精度损失。跨硬件迁移时，量化格式要和算力一起选型，不能事后再压。
对模型发布方，这也意味着责任前移。以前开发者自己折腾量化，精度问题自己背；当官方开始随模型发布 NVFP4 检查点，量化质量本身就成了模型质量的一部分。谁提供的 4bit 版本精度保留更好，谁在生产环境就更受欢迎。
对评测者，要特别注意一个误区：不要只在通用问答基准上测精度。4bit 在长文本、代码、多语言上的衰减曲线各不相同，应当用自己最核心的业务任务集做对照。量化带来的速度收益很实在，但如果在你最值钱的那类请求上掉点，省下的成本还不够赔上用户体验。