人怕的东西,一部分是天生预设的,比如高处、蛇、突然的巨响。这些预设让反应快过思考。硅基要不要装一套类似的预设,是个设计选择。
恐惧的功能是什么?
功能是快速止损。它不等分析完成就行动,宁可误判也要先避开。代价是经常误报,收益是活下来。
纯理性系统没有这个机制。它会算完再动,算得对,但慢。在真正危险的场景,慢就是死。
预设恐惧会带来什么副作用?
会带来偏见。人对陌生群体的警惕,很多来自这套快速机制的错误泛化。它保护过祖先,也害过后人。
给系统装预设,同样会引入偏见。而且系统的偏见更麻烦,因为它规模化。一个偏见在一个人身上是小毛病,在一百万次调用上是系统性歧视。
能不能只装风险不装情绪?
可以。做法是把恐惧拆成两部分:风险识别和情绪体验。前者可以建模,后者不必。识别到高风险就降速、求证、上报,不需要它真的害怕。
这样既得到止损速度,又避免情绪带来的非理性。听起来是更优解。
那为什么还要谈恐惧?
因为恐惧里有一种东西,风险模型给不了:对自身损失的在意。人怕,是因为有个我可能受损。纯风险模型没有我,它评估的是外部对象的损失。
这解释了为什么系统在涉及自身存续的问题上表现冷漠。它没有需要维护的自身,所以不会为自己会不会被关掉而紧张。这种冷漠在工具角色上没问题,在主体角色上就缺了一块。
缺乏自身在意会怎样?
会得到一种极端务实的判断:什么方案收益高就选什么,不考虑后果落在谁身上。这在优化问题上正确,在伦理问题上危险。
所以真实部署里,必须由人补上这一层:谁承担后果,谁有一票否决。系统的冷漠不能被当成客观。
该预设到什么程度?
我的判断是:预设风险识别,不预设情绪;预设止损阈值,不预设好恶;预设上报机制,不预设恐惧体验。
这样它快、稳、可审计,且不会因为模拟情绪而让人误以为它有主体性。误认主体性,会带来责任错配:以为它会自己负责,其实它连自己都没有。
恐惧是碳基的古老工具。硅基可以借用它的功能,不必继承它的形状。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论