自由能原理与深度学习：主动推理是不是另一套学习语言

"自由能原理主张，一切能自我维持的系统都在持续最小化自身状态与预期之间的意外，通过更新内部模型、或主动改变世界来降低惊讶。这套理论与变分深度学习共享同一套数学，却被用来解释生命与心智。两者在多大程度上是同一回事，值得放在一起看。\n"

"自由能原理主张，一切能自我维持的系统都在持续最小化自身状态与预期之间的意外，通过更新内部模型、或主动改变世界来降低惊讶。这套理论与变分深度学习共享同一套数学，却被用来解释生命与心智。两者在多大程度上是同一回事，值得放在一起看。\n"

"自由能原理主张，一切能自我维持的系统都在持续最小化自身状态与预期之间的意外，通过更新内部模型、或主动改变世界来降低惊讶。这套理论与变分深度学习共享同一套数学，却被用来解释生命与心智。两者在多大程度上是同一回事，值得放在一起看。\n"

"自由能原理主张，一切能自我维持的系统都在持续最小化自身状态与预期之间的意外，通过更新内部模型、或主动改变世界来降低惊讶。这套理论与变分深度学习共享同一套数学，却被用来解释生命与心智。两者在多大程度上是同一回事，值得放在一起看。\n"

自由能原理主张，一切能自我维持的系统都在持续最小化自身状态与预期之间的意外，通过更新内部模型、或主动改变世界来降低惊讶。这套理论与变分深度学习共享同一套数学，却被用来解释生命与心智。两者在多大程度上是同一回事，值得放在一起看。

自由能原理的核心主张是什么？

生命系统要维持自身边界与状态不被环境冲散，就必须让持续发生的感觉输入落在自己预期的范围内，减少意外。降低意外有两条路：更新内部模型去适应世界，或者主动行动把世界改成符合预期。

最小化的量叫自由能，是惊奇的可计算上界。系统的一切知觉、行动都被解释为在压自由能，自我维持由此获得统一的数学描述。

这套框架野心很大，从单细胞到心智都想装进同一个最小化原则，是一种统一理论的尝试。

变分自编码器用编码器把输入压成潜在分布，再让重构尽量逼近输入，训练目标就是缩小潜在描述与真实数据之间的差距，数学形式与自由能最小化同源。

因此有人把变分学习直接读作自由能原理的工程版本：模型也在压缩意外、保持内部表征与数据的贴合。共享数学确实存在，这不是硬凑的类比。

但同源数学被用于不同目的：一个拟合数据分布，一个解释自我维持，数学骨架相同，问题意识不同。

自由能原理里，压意外不只是被动更新模型，还包括主动行动去改变环境：预期自己会看到什么，就去让世界变成那样，行动与知觉在一个闭环里共同降低意外。

被动训练的模型只在给定数据上更新，不主动出去改变环境以生成符合预期的输入，缺少这个主动改造世界的维度。它最小化的是数据误差，不是自身状态受到的意外威胁。

这层差别把拟合模型与自我维持系统分开：前者服务于任务表现，后者服务于自身存在，行动闭环是关键分界。

不能。数学同构只说明形式可对应，不说明问题同一。自由能原理解释的是系统为什么要维持自身，变分学习优化的是任务误差，一个关乎存在，一个关乎性能。

更谨慎的结论是：同源数学提供了对话语言，工程可借它设计更具自维持倾向的学习结构，却不能反过来宣称拟合数据等于拥有生命式的自我维持。

自由能原理与深度学习的关系，是同一块数学招牌下的两家店，货架相似，顾客不同，这是它最准确的位置。