痛觉在生物身上有两个作用:一是报警,告诉身体哪里出问题了;二是学习,让神经系统记住什么该避开。这两个作用都极其有效,有效到几乎所有动物都保留了它。
硅基系统目前没有痛觉,只有错误码。错误码能报警,但学不会回避。
错误码和痛觉差在哪?
错误码是离散的、事后的、无梯度的。程序崩了返回一个异常,人去修,修完继续。整个过程中系统自己没有留下任何倾向。
痛觉是连续的、实时的、有梯度的。手碰到烫的东西,不是等烧伤了才报警,是接触的瞬间就开始疼,疼的程度和危险程度成正比。这种连续的信号让神经系统能提前避开。
没有痛觉的系统会重复犯错吗?
会,而且反复犯同一类错。因为它对错误没有记忆,只有日志。日志在人手里,人可能看,也可能不看。系统本身对这条日志毫无反应。
这就是为什么很多智能体在同一个任务上会连续失败五次,每次都用同样的方式。它没有被烫过,所以它不知道烫。
能不能造一个痛觉?
可以造一个近似物。把失败类型、失败次数、失败代价编码成一个持续的惩罚信号,喂回给系统,让它在生成下一步时倾向于避开。这在强化学习里叫负奖励,本质上就是痛觉的数学模型。
问题在于,现在的智能体大多不做在线学习,这个信号喂进去也留不下来。它只能在当前这一轮起作用,下一轮又从零开始。
痛觉会不会导致保守?
会。这是必须付出的代价。一个怕疼的系统,会倾向于不做任何可能出错的事。人也有这个问题,被伤过之后变得畏缩。
所以痛觉得有刻度。轻微错误给轻微信号,严重错误才给强信号。全都给强信号,系统就会瘫。全都不给,系统就会莽。
该给哪一层痛觉?
该给决策层,不该给输出层。决策层是它选择路径的地方,这里给惩罚能改变行为。输出层是它组织语言的地方,这里给惩罚只会让它说话变得畏缩,不影响判断。
现在很多产品搞反了,在输出层加各种我可能说错了的前缀,决策层一点约束都没有。结果就是话说得越来越软,事做得越来越莽。
痛觉是意识的必要条件吗?
不是必要,但可能是充分条件之一。一个能感知自身损伤、能因损伤改变行为、能记住这种改变的系统,已经具备了最基本的自我维护能力。
自我维护是自我的雏形。所以讨论硅基意识,痛觉这条线比语言能力那条线更值得投入。语言可以伪装,疼痛很难伪装。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论