Toolify 近日收录了 ISTA-DASLab（斯坦福和苏黎世联邦理工联合的量化研究组）发布的 Qwen3.8-Flash-Next-GSQ-RCO-GGUF，九月二十九日更新。这是把学术界最新的量化方法直接做成 GGUF 权重给本地部署社区用。GSQ 是 Group-wise Sequence Quantization（分组序列量化），RCO 是 Reward-Contrast Optimization（奖励对比优化），两个方法叠在一起做低位比特量化。

GSQ 跟 GPTQ、AWQ 有什么不同？

GPTQ 是逐通道量化，用二阶误差补偿；AWQ 是保护显著权重通道。GSQ 的思路是把激活序列按时间分组，在组内共享量化尺度，利用序列相关性减少量化噪声。对 MoE 模型，专家之间的权重分布差异很大，逐通道量化容易在小专家上过拟合。GSQ 分组后，每个专家独立尺度，精度损失更小。这也是为什么 ISTA-DASLab 选择 Qwen3.8-Flash-Next——它有 512 个专家，是检验 MoE 量化的理想靶子。

RCO 是什么？

RCO 是把量化后的模型跟原模型放在一起，用奖励模型对比哪个输出更对，把量化损失作为奖励信号微调量化参数。这跟 DPO（直接偏好优化）的思路一致，只不过偏好的是「量化前 vs 量化后」的输出差异。这是一种用对齐技术反过来优化量化的思路，学术圈叫 quantization-aware RLHF。

GGUF 对本地部署意味着什么？

GGUF 是 llama.cpp 生态的权重格式，本地跑 7B 到 70B 模型的事实标准。ISTA-DASLab 直接发 GGUF，意味着研究者不再只发论文，而是把权重放到 Ollama、llama.cpp 能直接拉取的格式里。这把学术量化研究的落地周期从「论文发表到社区复现」的半年，压到了「权重发布当天就能跑」。对本地 AI 玩家，这是免费的精度提升。

从学术圈下场趋势看，ISTA-DASLab 已经不是第一次直接发 GGUF。过去的量化研究只发论文和原始代码，社区要自己写量化 pipeline；现在直接把 GGUF 权重挂到 HuggingFace，Ollama 一行命令就能拉。这把量化研究的落地周期从「半年复现」压到了「当天使用」。对本地 AI 玩家，这是免费的午餐——每个新量化方法都能第一时间在自己的显卡上测精度。但也要警惕：学术量化方法往往在公开基准上调得很好，在真实工作负载上可能掉点更厉害，建议跑自己的任务集对比。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论