十月十三日英伟达预告、十五日正式开放下载的 Nemotron 3.5 Bolt 74B-A9B，把一件过去只有数据中心才扛得动的事拉到了消费级桌面：总参数 740 亿，每个 token 只激活约 90 亿，通过 2 bit 量化感知训练（QAT）把权重体积压到约 24GB。这意味着一张 RTX Spark 级别、带 24GB 显存的机器，就能跑一个面向智能体的开放权重模型，而不是只能跑 7B 级别。

2 bit 量化感知训练到底省了多少？

常规做法是训完之后再做 PTQ 量化，4 bit 已经掉点明显，2 bit 几乎没法看。Bolt 的路子是在训练阶段就把 2 bit 伪量化节点插进去，让模型权重分布在训练中自适应到低比特网格上，推理时直接用 2 bit 权重做矩阵乘。参数量从 74B 降到 24GB 体积，单 token 激活仍是 9B 级别——这是 MoE 的红利：稀疏激活把算力压下来，QAT 把显存压下来。两个压缩叠加，才让 74B 走进了 24GB 盒子。

本地智能体为什么非要 9B 激活？

智能体不是聊天，是要反复调用工具、读长上下文、在多步循环里保持指令遵循。7B 稠密模型在 tool calling 的格式稳定性上已经吃力，9B 激活的 MoE 配合 NVIDIA 专门的 agentic post-training，在函数调用准确率和长循环不跑偏上能拉出一档差距。24GB 显存同时还要给 KV cache 和 tool result 留空间，这也是为什么 NVIDIA 把目标场景定为 RTX Spark 这类「始终在线智能体」盒子，而不是随便一张游戏卡。

对开发者的直接信号是：本地 agent 的权重门槛从 7B 跳到了 74B，但显存预算没变。下一步要看 vLLM、SGLang、llama.cpp 这三家对 2 bit QAT 权重的 kernel 支持进度——权重发了，推理栈没跟上，照样跑不快。

从生态位看，Bolt 74B 瞄准的不是跟云端 API 拼跑分，而是「断网可用的本地智能体」这个细分场景。企业内网、政府涉密环境、个人开发者的隐私工作流，都不可能把代码和文档发到公网 API。24GB 显存跑一个 74B 级别的 agentic 模型，意味着这些场景第一次有了能用的本地选项。但要冷静：2 bit QAT 在长上下文和数学推理上的损失还没经过独立社区复测，官方数字要等第三方 GGUF 版本出来才能验证。对普通用户，建议先等一到两周社区评测，再决定要不要把主力工作流迁到这个模型上。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论