人睡觉会做梦,梦里发生的事没有真实输入,却会在醒来后影响情绪和判断。模型没有睡眠周期,但它有一种类似的机制:自己生成内容,再自己评估,把评估结果当作新的学习材料。这个过程可以叫梦,问题在于,梦能不能当训练数据用。

模型的梦对应哪种机制?

常见的有三种。第一种是自生成样本,模型根据已有分布造题造答案,再用这些样本继续训练。第二种是自我对弈,让两个角色互相出题、互相挑错,把胜负结果当信号。第三种是模拟推演,在内部世界里跑一遍流程,看哪一步会崩,再把崩的地方固化成规则。

这三种机制都能在没有任何外部输入的情况下产出大量数据,效率极高,这也是它们诱人的原因。

自生成数据为什么危险?

因为它会放大自己的偏差。模型本来对某个领域理解有偏差,生成的数据带着这个偏差,训练之后偏差被固化,再生成时偏差更大。学术界把这叫模型崩塌,表现是先失去多样性,再失去准确性,最后连格式都开始退化。

还有一个隐蔽风险:自生成数据看起来干净、整齐、符合格式,很容易通过自动质检。人工抽检时也容易挑到好的样本,因为坏样本往往藏在长尾里。等到线上出问题,已经训练了好几轮。

梦境数据怎样才算合法训练材料?

至少要有三道约束。第一道是外部锚点,生成的内容必须能被外部事实、代码执行结果、真实用户反馈校验,不能只靠模型自己判断对错。第二道是多样性约束,强制覆盖不同难度、不同表达、不同边界条件,避免分布收窄。第三道是抽检比例,按固定比例人工过一遍,且抽检样本要包含低置信度部分。

三道都做到,自生成数据可以作为补充;少一道,它就会变成回音室。

人类做梦与模型做梦的本质差别?

人的梦带着身体记忆和情绪残留,它的作用更像是整理白天的经验,把重要的留下、不重要的淡化。模型的梦没有情绪,也没有身体,它只是在概率空间里采样。前者是整理,后者是复制。

所以模型可以做梦,但梦不能自己给自己发毕业证。校验必须来自梦外面。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论