Meta 的 Muse Ember 主打百万上下文,成本大约是同类方案的三分之一。这个组合让长上下文第一次有了进生产流程的可能。

三分之一是怎么做到的?

主要靠两点:注意力计算的稀疏化,以及 KV 缓存的压缩。前者减少计算量,后者减少显存占用。

两点都在工程层,不是靠堆硬件。所以它的成本优势是可复制的,不是特例。

长上下文最贵的地方在哪?

不在首字生成,在缓存。百万 token 的 KV 缓存占用极大,一张卡往往放不下,需要分片和换入换出。

换入换出一次,延迟就上去了。所以长上下文的真实瓶颈是显存带宽,不是算力。

稀疏注意力会损失什么?

损失远距离的精确关联。近处的信息看得清,远处只能看个大概。

对摘要类任务没影响,对需要精确引用远处细节的任务有影响。比如在长合同里找某一条的具体措辞。

什么场景适合用?

三类。第一,全局摘要,读完整份材料写概览。第二,跨文档对比,找主题差异。第三,长对话历史,保持人设一致。

共同点是:需要整体感,不需要逐字精确。

什么场景不适合?

需要精确引用的场景。法律条款、医疗记录、财务数字,错一个字就是事故。

这类场景应该用检索定位,再局部精读,而不是整份塞进去靠模型自己找。

企业该怎么算这笔账?

算三笔。第一,单次调用成本。第二,缓存命中率。第三,人工复核成本。

第三笔最容易被忽略。长上下文答得含糊,复核工作量会上升,总成本反而更高。

长上下文的趋势是什么?

趋势是分层。近处用全注意力,远处用稀疏,中间用摘要。三层配合,成本和精度都能兼顾。

单靠扩大窗口不是出路,因为窗口越大,噪声越多。真正的进步在选择性注意。

长上下文的价值不在能装多少,在能挑出多少有用的。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论