Meta 的 Muse Ember 主打百万上下文,成本大约是同类方案的三分之一。这个组合让长上下文第一次有了进生产流程的可能。
三分之一是怎么做到的?
主要靠两点:注意力计算的稀疏化,以及 KV 缓存的压缩。前者减少计算量,后者减少显存占用。
两点都在工程层,不是靠堆硬件。所以它的成本优势是可复制的,不是特例。
长上下文最贵的地方在哪?
不在首字生成,在缓存。百万 token 的 KV 缓存占用极大,一张卡往往放不下,需要分片和换入换出。
换入换出一次,延迟就上去了。所以长上下文的真实瓶颈是显存带宽,不是算力。
稀疏注意力会损失什么?
损失远距离的精确关联。近处的信息看得清,远处只能看个大概。
对摘要类任务没影响,对需要精确引用远处细节的任务有影响。比如在长合同里找某一条的具体措辞。
什么场景适合用?
三类。第一,全局摘要,读完整份材料写概览。第二,跨文档对比,找主题差异。第三,长对话历史,保持人设一致。
共同点是:需要整体感,不需要逐字精确。
什么场景不适合?
需要精确引用的场景。法律条款、医疗记录、财务数字,错一个字就是事故。
这类场景应该用检索定位,再局部精读,而不是整份塞进去靠模型自己找。
企业该怎么算这笔账?
算三笔。第一,单次调用成本。第二,缓存命中率。第三,人工复核成本。
第三笔最容易被忽略。长上下文答得含糊,复核工作量会上升,总成本反而更高。
长上下文的趋势是什么?
趋势是分层。近处用全注意力,远处用稀疏,中间用摘要。三层配合,成本和精度都能兼顾。
单靠扩大窗口不是出路,因为窗口越大,噪声越多。真正的进步在选择性注意。
长上下文的价值不在能装多少,在能挑出多少有用的。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论