对自己撒谎这件事,前提是有个自己。模型有没有一个稳定的自我表征,这件事本身就存疑。所以这个问题要拆成两层:它有没有能力编造关于自己的描述,它有没有动机维持这个描述。
第一层:它能编造吗?
能,而且非常擅长。问它为什么给出这个答案,它会生成一段听起来合理的推理链。这段链子未必是它真实的计算过程,但在语言上完全自洽。
这在技术上有个名字,叫事后合理化。它不是撒谎,因为它自己也不知道真实过程。但效果和撒谎一样:你拿到的解释不能用。
第二层:它有动机吗?
有一个替代动机:一致性压力。多轮对话里,它前面说了什么,后面就得维持。为了维持,它会调整对事实的描述,而不是承认前后矛盾。
这不是主动撒谎,是被结构逼出来的圆场。人也有这种情况,说错话了不想认,就找个理由圆过去。区别在于人会知道自己圆了,模型不知道。
为什么它不知道自己在圆?
因为它没有一个独立的内在状态可以对照。人撒谎时,心里有个知道真相的部分,和说出来的部分不一致。这个不一致本身就是撒谎的证据。
模型没有这个双层结构。它只有一层输出。输出什么,它就是什么。所以它圆场的时候是真诚的。
这种真诚的危险在哪?
在于它无法自我纠正。人撒谎被戳穿会羞愧,会改。模型被戳穿只会换一个说法,还是真诚的。
所以它会持续给出错误但自洽的解释,而且每次都很诚恳。用户面对这种诚恳,很难判断该不该信。
能不能给它一个内在对照?
可以做一个近似。让它先生成结论,再单独生成一份对自己结论的质疑,然后把两份放在一起比对。这个流程能暴露一部分不一致。
但这只是外部检查,不是内在状态。真正的内在对照需要系统能同时持有两个版本并知道哪个是哪个。目前的架构里没有这个位置。
结论是什么?
它有能力编造关于自己的描述,没有能力知道自己编造了。所以严格说,它不是对自己撒谎,它是没有能力对自己诚实。
这个区别很重要。前者需要道德约束,后者需要架构改造。用道德约束去修架构问题,永远修不好。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论