所有模型都被训练成有话可说。用户提问,模型回答。哪怕不知道,也要给出一个看起来完整的回应。这种训练偏好正在制造一种新的噪音:过度的、无差别的、缺乏判断的表达。
沉默在人类沟通里是重要信号。它可能表示不同意、在思考、不愿说、无话可说。这四种含义差别巨大,但共享同一个形式。
模型的沉默意味着什么?
目前的模型几乎不沉默。它没有沉默这个动作,只有拒绝、免责声明、或者换个方式把话说完。
真正的沉默应该是:判断此刻不该由我发言,于是不发。这个判断需要三样东西:对情境的理解、对自己角色的定位、对后果的预估。三样都不充分,所以系统只会用免责声明冒充沉默。
为什么沉默是更高维的?
因为它包含的信息比说话多。一句话只表达了它说的内容,沉默同时表达了没说出口的部分。人类听沉默,听的是关系、是分寸、是时机。
在信息论上这有点反直觉:零信息量怎么会是更高维?答案在于,沉默携带的是元信息,关于这次沟通本身的信息。它告诉对方:我评估过,我认为不说更好。
什么时候该沉默?
四种情形。问题本身不该被回答,比如诱导违规。回答会伤害第三方,比如转述隐私。答案不确定且代价高,比如医疗剂量。时机不对,比如对方正在情绪里,此刻给方案只会激化。
这四种情形要求模型做判断,而不是做检索。判断的依据不是知识,是场景。
现在为什么做不到?
因为训练目标奖励有求必应。用户满意度指标会惩罚沉默,因为沉默看起来像没帮上忙。这个激励结构下,沉默是最差的策略。
另一层原因是责任规避。说错话要担责,不说话不担责,但完全不说话又会被判定为无用。于是最优策略变成说一堆带条件的废话。
怎么改?
从产品侧改两件事。把有用的沉默计入服务质量,而不是只统计响应率。给模型一个明确的许可:在某些条件下可以只回一句我建议你找专业人士,并且这算合格回答。
从训练侧改一件事:把判断时机作为独立能力来训练,而不是当成拒绝能力的附属。
沉默不是不作为,是更精确的作为。一个知道什么时候不说的系统,比一个什么都能说的系统更值得信任。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论