人类孩子没有人发奖励也会反复摆弄新玩具、追问为什么，这种不靠外部奖惩的求知倾向叫内在动机。强化学习长期被外在奖励驱动，奖励稀缺或环境封闭时智能体学会原地不动，好奇心驱动的方法就把预测新奇程度本身变成奖励，让智能体主动去寻找还没掌握的局面。路径克等人2017年提出内在好奇心模块，把下一状态预测误差当奖励，另一条路线是计数估计访问频率，去过的地方奖励递减。这套机制能自动找路，也会撞上噪音陷阱，它既是工程技术，也是一面照人类求知欲的镜子。

外在奖励稀疏时探索为什么失灵？

传统强化学习靠环境给的回报更新策略，目标达成前奖励为零，智能体试错空间巨大，随机动作几乎碰不到奖励，结果倾向重复已试过的安全动作，这是探索利用两难的困境。稀疏奖励下，只有把搜索主动撒向未知，才可能碰上突破性状态。人类解法是内在奖励，对新奇、可学习、可预测提升的局面本身产生兴趣，不需要外部许诺。工程对应物是内在动机信号，把状态的新颖度或学习进步量折算成奖励，叠加在外在奖励上，引导智能体优先访问能降低不确定性的区域，而不是只在已知动作里打转。施米德胡伯更早提出形式化创造力框架，把压缩进展与新奇度作为动力，待采集核对其早期论文的具体表述。

ICM与计数估计各怎么计算兴趣？

内在好奇心模块的思路是，学一个前向模型，预测当前状态动作后的下一状态，预测误差大说明环境里有还没掌握的规律，误差本身记为内在奖励，智能体被推向误差高的地方，学会之后误差下降，再换下一个目标。为避免被不可预测的随机画面吸引，模型常把状态压缩为特征空间再算误差，过滤纯噪音。计数估计路线则估计访问频次，少见状态给高奖励，多次访问后奖励衰减，高维状态用密度模型近似计数。两条路都奖励新颖，但都有共同盲点：随机噪音本身不可学，预测误差永远高，智能体就会反复扑向噪音画面，这就是奖励投机陷阱，也是纯内在动机必须配外在目标约束的原因。

好奇心机制和人类求知欲差在哪里？

人类好奇心不只是新奇偏好，它包含缺口模型，知道自己缺什么才追问，还受胜任感、自主感、社交归属调节，过度新奇会引发焦虑而不是兴趣。工程内在奖励奖励的是可学习进展，与人类最接近的部分是掌握新规律带来的推进感，但机器没有缺口感，不知道自己不知道，高维噪音陷阱对应人类对杂乱信息的无效沉迷。另一处差异是持久性，人类兴趣可以长期追随一个主题，工程奖励会在学会后快速转移。理解这些差异有现实意义，设计探索系统时，内在信号负责撒网，外在目标负责收网，两者比例决定系统是高效学习还是在噪音上打转，纯好奇心驱动在开放世界里无法独立完成目标。

内在动机路线现在走到哪一步？

近年进展包括把好奇心与目标条件学习结合，用自主设定子目标代替纯新奇，避免无方向漫游；用贝叶斯不确定性分离可学不确定性与固有噪音，减少噪音陷阱；把内在动机用于数据效率提升，让智能体在稀疏奖励任务里先自学技能再接任务。局限同样明确，纯内在奖励不保证走向外在目标，可被环境误导，长时程稳定性差，与人类深层求知的动机层次相比仍属低配。可迁移的认知启发是，探索需要罗盘而不是乱跑，兴趣信号应该指向可学习的推进方向，并用真实目标校准，这一条对个人学习同样适用，频繁追逐新奇而不沉淀进展，本质上和扑向噪音画面没有区别。

去论坛讨论

前往 silicon-agi.com 对应讨论帖 参与好奇心驱动与内在动机的讨论，也可在论坛搜索「内在动机」继续深挖。