Perplexity 的 Decider v1.3 做了一件很克制的事:不给答案,只给概率。它是一个分类器,输出的是每个选项的可能性,准确率 91.6%。
只给概率有什么用?
用在路由上。一个问题该走检索、走代码、走直接回答,这个判断不需要生成内容,只需要分类。
分类比生成便宜得多,也稳定得多。生成会跑偏,分类只会在几个固定选项里选。
91.6% 够不够?
看错判的代价。如果错判只是多花一点钱,91.6% 很好用。如果错判会导致答错,那就不够,需要人工兜底或者二次判断。
所以这类模型的价值不在绝对值,在它把一件模糊的事变成了可度量的事。
为什么分类比生成更可靠?
因为选项是封闭的。封闭集合里做判断,模型只需要比较,不需要创作。创作的自由度是风险来源,比较的自由度小得多。
这也是为什么很多系统在关键节点插入分类器,而不是让主模型自己决定走哪条路。
概率输出怎么用?
三种用法。第一,取最大值,直接路由。第二,设阈值,低于阈值就走保守路径。第三,多模型投票,把几个分类器的概率平均。
第二种最实用。阈值让系统有了拒绝的权利,不必每次都硬着头皮选一个。
对做 Agent 的人有什么启发?
启发是:把决策和生成分开。让生成模型专心写内容,让分类模型专心跳转。两件事混在一个模型里,出了问题很难定位。
分开之后,每一段都可测。分类准不准,生成好不好,各自有指标。
这类小模型会不会成为标配?
会。因为大模型做分类是浪费,成本高、延迟高、还不稳定。专用分类器又便宜又准,没有理由不用。
未来的 Agent 架构里,大概率是一个大模型加一堆小分类器。大模型负责难的部分,小分类器负责分流。
把判断做成概率,是把玄学变成工程的第一步。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论