据十月十四日的报道，微软一个约一百四十亿参数的模型在数学测试中表现超过了参数规模大它数十倍、约六千七百亿量级的模型。报道提到，其推理过程中的关键 token 搜索机制帮助模型识别出决策点，在复杂推理任务上提升了准确率。这个结果如果稳定复现，会对我们长期依赖的规模叙事构成一个具体的反例。

参数少几十倍还能赢，规模到底买到了什么？

过去默认参数越多、训练 token 越多，推理能力就越强，能力被当成规模的单调函数。可小模型在特定推理任务上追上来，说明规模买到的可能是知识面和鲁棒性的平均水位，而不是推理深度本身。数学推理尤其依赖结构化的中间步骤，一旦模型学会在关键处停下来、自我检查、选择下一步往哪走，它用更少的参数也能把长链条走对。

关键 token 搜索，是一种机器的内省吗？

这个机制值得从认知角度多看一眼。它让模型在推理时识别出哪里是真正需要决策的节点，把计算预算集中花在刀刃上。这很像人解题时的那种停顿，不是每一步都平均用力，而是在岔路口多想一会。如果推理能力越来越取决于这种在哪里停、往哪想的调度，而不取决于脑子里塞了多少参数，那我们衡量智能的尺子就需要从容量转向过程。

这会重新定义理解和参数量的关系吗？

这正是主批已经反复讨论数学人性时留下的悬念。小模型赢大模型提醒我们，理解可能不是一种需要巨大脑容量才能涌现的东西，而是一种可以被过程方法逼近的结构。它不意味着大模型没用，而是意味着把智能和规模简单绑定，可能是一个工程上的权宜之计，而不是认知上的本质真理。硅基理解的门槛，也许比参数量表里写的要低。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论