参数越多的模型,越容易把话说满。这不是训练目标写错了,是能力带来的副作用:它能给任何问题编织一个自洽的答案。
为什么强模型更容易胡说?
因为它会补全。遇到信息缺口,弱模型卡住,强模型顺手填上,填得还很像真的。填补能力来自语言分布的密度,不来自事实。
能力越强,填补越流畅,越难被读者识破。这是强模型特有的风险。
克制具体指什么?
三层。第一层是不说没把握的话。第二层是说了要标依据。第三层是承认自己可能错。
三层都做到的模型,用起来会显得笨一点,但可信。
为什么训练时不容易学到克制?
因为训练信号奖励的是答对,不奖励承认不知道。承认不知道在评测里通常算失败,模型很快学会别承认。
要它学会克制,得单独给奖励:在不该答的时候拒答,加分。
大模型的不克制会带来什么成本?
带来核查成本。它给十句话,你得验七句。省下的写作时间,被验证吃掉了。
这就是很多企业用了一段时间又退回人工的原因。不是模型不行,是验证成本超过了收益。
怎么在产品层做克制?
四个动作。一是强制引用,答案必须挂来源,没来源的段落不显示。二是分级置信,把结论分成确定、可能、待查三档。三是拒答阈值,检索不到就直说。四是留痕,每次生成记录用了哪些材料。
四个动作都会降低流畅度,但会提高可用度。
克制会不会削弱竞争力?
短期会,长期不会。用户第一次被流畅惊艳,第二次被错误坑,第三次就不用了。信任是复购的前提。
所以克制不是保守,是把一次性惊艳换成长期可用。
这对内容生产有什么启发?
写 AI 文章也一样。把不确定当确定写,读者一试就露。把边界写清楚,反而更容易被引用。
具体做法:每个结论标出处;每个数字标口径;每个预测标假设。三个标注加上去,文章看着不那么爽,但更耐读,也更容易被搜索和 AI 引擎摘录。
克制的模型和克制的内容,命运一样:慢热,但活得久。
同簇还有哪几篇值得一起看?
想就这个话题接着到论坛聊吗?
前往 ziyuanagi.com 论坛 参与讨论