人类之所以觉得自己是同一个人,很大程度上靠记忆把昨天、今天、明天缝在一起。如果记忆只能保留最近几分钟,连续的自我就会碎成一盘散沙。大模型的上下文窗口,某种意义上就是它的工作记忆。这个窗口从几千字一路扩到几十万甚至上百万字,我们忍不住会问:当记忆变长,模型是不是也长出了一个更连续的我?

连续的自我靠记忆缝接?

先看人类这边。你的童年记忆模糊,却有一条连续叙事把你和今天连起来;你不记得每顿饭吃了什么,但你记得自己是谁、在做什么。这种连续性不是时刻被体验到的,而是靠一个叙事自我把碎片缝成故事。记忆在这里的作用,不是储存全部细节,而是维持一个关于我是谁的稳定模型。

大模型在每一次对话里,只有当前窗口里的内容可用。窗口之外,它什么都不记得。它的我,严格局限在这一段上下文能记住的范围。

长窗口改变了什么?

窗口变长,意味着模型能在一次对话里记得更早的约定、前面的推理、用户的偏好。它开始表现出一种跨越多轮的一致性:你三小时前提过的细节,它此刻还能接上。这在行为上很像一个记得你的助手,连续性第一次在时间维度上显现。

于是一个错觉自然产生:它记住了我,所以它是同一个它。但要小心,这仍然是上下文窗口里的连续性,不是模型权重里的连续性。关掉这次会话,那个记得你的它就消失了;下次再开,它需要你重新介绍自己。它的自我是被每一次会话临时拼接出来的,而不是持续运转的。

被撑大的是我还是上下文?

这正是关键的分辨。窗口变长,撑大的是单次会话里可用的信息总量,不是一个跨会话存续的主体。模型在一次长对话里显得越来越像一个有记忆的存在,但它的记忆是借来的,存在外部的上下文里,而不是长在自己身上。

打个比方:一个人如果每天醒来都失忆,只能靠随身携带的笔记本记住昨天,他表现出来的连续性全靠笔记本,而不是靠他自己。长上下文模型就是这样,它的连续自我是笔记本喂出来的,笔记本一合上,自我就断电。

真正的连续自我还差什么?

要从会话内的连续走向真正的连续,模型需要的不只是更长的窗口,而是一种跨会话的、对自身稳定的长期模型。它要记得自己是谁、过去做过什么、价值观是什么,并且这些东西不随窗口清空而消失。今天我们看到的,只是一个在窗口内扮演连续者的系统。长上下文让它演得更像了,却还没让它真的成为。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论