Stanford 的 Memorilla 给出了一组很扎眼的数据:把一份文档压成 16 个 memory token,在 FactKG 上做到 84.33%,token 消耗比原方案少 108 倍。

16 个 token 能装下什么?

装不下原文,装得下骨架。它压的是事实结构,不是字句。所以它能回答关于这份文档的问题,但不能复述原文。

这个区别决定了用途:它适合做判断,不适合做引用。

108 倍是怎么省出来的?

原来是每问一次就检索一遍长文档,现在是把文档提前压成少量 token,问答时只带这几个 token。

省的是重复读取。文档被读一次,之后每次问答都很便宜。这对高频问答场景是结构性改变。

84.33% 算好吗?

在 FactKG 这类事实型问答上,这是可用水平。但它意味着仍有约 16% 的错。这个错误率放在客服能接受,放在法务不能接受。

所以它不是万能方案,它是特定场景的优化。要看你的容错空间有多大。

压缩会丢掉什么?

丢掉三样。第一,原文措辞,法律和医疗场景里措辞就是效力。第二,细节数量,压成 16 个 token 必然合并同类项。第三,可追溯性,你很难指回原文第几段。

三样里第三样最麻烦,因为它影响审计。没有追溯,结论就无法复核。

该怎么用它?

分层用。第一层用压缩做快速判断,第二层命中后再回原文取证据。判断走便宜的,举证走贵的。

这样既省成本,又保住可追溯。单用压缩,快但不可审;单用全文,可审但太贵。

对做知识库的人有什么启发?

启发是:不要把所有文档都当同等重要。高频问题涉及的文档值得压缩缓存,低频文档按需检索。

现在多数知识库是平的,所有文档一视同仁。结果是热点问题每次都重新读,冷门问题也占索引。分层之后,成本结构会明显改善。

记忆压缩的边界在哪?

边界在任务类型。事实查询可以压,需要原文依据的不能压;常规判断可以压,需要精确措辞的不能压。

搞清楚这条边界,比追新算法更有价值。压缩是手段,不是目的。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论