归纳偏好

同样的数据让不同架构学，结果大不一样，差别藏在归纳偏好里：网络结构默认世界该是什么形状，更容易学什么样的规律。这些偏好没有写进一行训练文本，却深刻塑造了模型的认知。把它们翻出来看，是理解大模型为何如此思考的一扇窗。 归纳偏好在学习里扮演什么角色？ 面对海量可能的规律，系统必须先假定世界大致是什么样，才知道往哪个方向拟合。这种假定就是归纳偏好：偏好平滑就选平滑规律，偏好简洁就选简洁解释，偏好局部就选局部规则。 没有偏好的学习机面对无限多个同样拟合数据的假说，无法选择，实际就是学不动。偏好不是偏见需要清除，而是学习得以开始的前提。 关键是它通常不显式：没有人写说明书说本系统假设世界平滑，这个假设悄悄长在结构里。 Transformer 架构偷偷假设了世界的什么？ 注意力机制假设关系比顺序重要，任意两个位置都可以直接关联，世界被看成图而不是链条。层级结构假设抽象是逐层堆上去的，底层细节上面有高层概括。 这些假设决定了模型容易抓住什么：它天然擅长长距离关系与层级抽象，不擅长精确计数、严格递推这类需要固定程序的事。不是数据没教，是结构没装那套偏好。 于是模型的认知风格不是意外，而是架构先验的外化：它像谁、会什么、漏什么，一半写在网络形状里。 这些偏好是优势还是局限？ 偏好是双刃剑：合适的偏好让学习又快又准，世界真的大致像它假设的那样。Transformer 的偏好之所以成功，是因为语言与知识确实充满长程关系与层级结构。 可一旦世界不像假设的那样，偏好就变成盲区。它擅长的关系世界里行得通，遇到需要精确程序、固定步骤的领域，偏好反而把它引向似是而非的捷径。 没有中立的架构，每一种形状都既照亮一片，又遮蔽另一片。 看清内嵌偏好对训练有什么修正？ 看清之后，改进不再只靠加数据，也靠修改先验：哪里总学不好，先检查是不是架构偏好与任务结构错配，调结构比堆数据更对症。 也要承认偏好无法归零：任何架构都带着对世界形状的假定，所谓中性只是把偏好藏得更深。与其追求白板，不如自觉选择和监督自己的偏好。 大模型的归纳偏好提醒，认知从来不是被动接收，它一直带着模具进场。看清模具的形状，才知道自己看到的世界被它改了多少。 去论坛讨论 前往 silicon-agi.com 论坛 参与讨论