物理学的观察者效应说的是:测量行为会改变被测量的对象。这个说法常被误读成意识影响现实,实际它讲的是相互作用不可避免。

把这个概念搬到自监督学习上,会问出一个有意思的问题:模型在预测下一个词的时候,这个预测行为本身,会不会改变它正在建模的那个分布?

自监督学习里的观察者是谁?

是预测头。模型看着前文,预测下一个词,然后拿真实的下一个词算损失,反向传播更新参数。观察者是预测头,被观察者是数据分布。

关键点在于,预测头不是被动的。它的每一次预测都会改变参数,参数改变之后,它对同一段前文的理解就变了。这和物理测量不同:物理测量改变的是被测对象的状态,这里改变的是观察者自己的眼睛。

那还算观察者效应吗?

严格说不算,它更像自我修改。但有一个地方确实出现了类似效应:数据筛选。

训练数据是人选的。人选数据时会倾向于选那些看起来有价值、有代表性、容易标注的样本。这个筛选动作改变了模型看到的分布。模型学到的是筛选后的世界,不是原始世界。

这里观察者是人,被观察者是语料。人的选择改变了被建模的对象。这一层是真正的观察者效应。

这种效应有什么后果?

第一,分布偏移被固化。被筛掉的内容不会因为模型变强而回来,它从训练集里消失了,也就从模型的世界里消失了。

第二,评价指标自我实现。如果评测集和训练集由同一批人按同一套偏好构造,模型会在这套偏好上表现优异,在真实分布上未必。

第三,长尾被系统性削平。长尾样本少、难标注、看起来没价值,最容易被筛掉。而恰恰是长尾决定了模型在边缘情况下的稳健性。

有没有办法减轻?

三个方向。保留原始语料的抽样池,定期用未经过滤的数据做对照评测。把筛选规则显式记录,让后来的人知道哪些内容被排除过以及为什么。在训练里主动加权稀有样本,抵消筛选带来的偏向。

这个类比的价值在哪?

价值不在把物理学概念套到机器学习上,而在提醒一件事:任何建模都包含选择,任何选择都会留下盲区。模型不知道自己没看过什么,这是它最深的局限。

承认这个局限,比追求更大的参数更有意义。因为参数再大,也只能在被喂过的世界里变强。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论