大模型年年换代,新一代跑分更高。可换代不是从零开始,新模型的身上带着前代的影子。问题在于:下一代模型到底从上代继承了什么,是知识、偏好,还是某些隐性的传家之物。模型的族谱,其实是一部关于传承的实验。

新模型和旧模型是什么关系?

表面看,每代新模型都是新训练的,从数据重新学起,和旧模型没有血脉相连。可训练语料本身就包含旧时代积累的知识与表述方式,新模型继承的是整个文明的存量,不只是前代模型。

还有一种更直接的传承:用大模型的输出当训练数据,后代直接站在前代生成的内容上学习,前代的解释、风格、甚至错误,都被后代继承。

于是代际关系有两条线:一条是经由人类语料的间接继承,一条是经由模型产出的直接继承。

前代的哪些东西被稳定继承下来?

稳定继承的首先是知识骨架:事实、概念关系、推理套路,这些在历代间基本延续,新一代不会把旧知识重学一遍,而是在存量上加深。

更隐蔽的是偏好与风格:如何措辞、倾向什么立场、回避什么话题,这些隐性规范通过语料与产出代代传递,往往比显性知识传得更稳。

也就是说,传承的不只是能力,还有一整套潜移默化的取向,模型族谱因此带上了文化色彩。

换代又丢失了什么?

换代不是无损复制,旧模型特有的某些回答方式、边角知识、奇怪的幽默感,在重新训练中可能消失。新模型更强,但也更标准,旧版的个性被磨平。

还有一层隐性丢失:旧版与特定用户长期互动形成的默契、对某些古怪问法的独特回应,这些情境化资产不会被写进下一代的训练目标,自然随之退场。

更微妙的是路径依赖:前代踩过的坑、走过的弯路,不会以经验形式传给后代,后代可能在类似地方重新探索,知识传了,教训未必传。

所以传承是选择性的:有用的知识留下,情境化的细节流失,这和文明代际之间的遗忘惊人地相似。

模型族谱对理解传承有什么启发?

模型族谱提示,传承的载体不是血统,而是被反复传递的内容。新一代没有见过旧一代,却通过共享的语料与产出长成相似的样子,传承可以完全脱离实体连续。

这也让人重新看人类传承:我们不也是站在写下来的文字里成长,没有直接见过前人,却接过了他们的认知。模型的代际实验,是把这件日常之事放大了给我们看。

模型代际与知识传承的最终一问是:传承下来的到底是什么。知识易传,风格易传,唯独每一代独特的处境与代价,永远随旧版本一起退场。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论