模型质量

很多人第一次量化本地模型，直接跑一个默认四 bit 的 GGUF，发现能用但总觉得「有点笨」——长上下文容易忘、数字容易错。问题常常不在 bit 数，而在量化时没有给模型一份重要性矩阵。本文记录 imatrix 量化的完整流程。 imatrix 到底在量化什么？ 模型里不同权重对输出的重要性差别巨大。普通量化一刀切，把关键权重也压了。importance matrix，简称 imatrix，记录了在代表性数据上每个权重的敏感度，量化时对敏感权重保留更高精度。同是四 bit，带 imatrix 的版本在困惑度和下游任务上往往明显更稳。 采集流程分哪三步？ 第一步，准备一份与下游任务相近的校准数据，几百到几千条真实文本，别用随机数据。第二步，用量化工具在这份数据上采集 importance matrix，输出一个矩阵文件。第三步，量化时把这个文件指进去，生成带 imatrix 的 GGUF。 回测该看哪些指标才靠谱？ 采集完要验证。跑一组你真实关心的任务：长文档问答、算术、结构化输出，对比默认量化与 imatrix 版的差异。困惑度下降不代表下游一定变好，但下游明显变好通常说明量化没把关键信息压坏。 最常见的误区是什么？ 校准数据分布很关键。拿通用网页文本去校准一个专门做客服的模型，imatrix 帮不上忙。校准集要贴近你真实会遇到的输入，哪怕只有几百条，也比拿网上随便下的通用语料强。 采集一份矩阵要花多少时间？ 采集 imatrix 不是点一下就完：要在一份有代表性的数据上跑前向传播，数据越多、越长，矩阵越准，但也越耗时。对个人用户，几百条数据、十几分钟到几十分钟通常够了，不必追求上万条。采出来的矩阵要和量化版本一起存档——换了量化配置，矩阵最好重新采，别拿一张老矩阵打遍天下。 imatrix 为什么算免费午餐？ 在消费级显卡上，imatrix 是不换硬件也能提升量化质量的免费午餐。多花几十分钟采集一份贴合业务的重要性矩阵，换来的是小模型在你自己场景里的稳定性——这比再往下压半 bit 划算得多。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：imatrix量化