上下文窗口从四千词元一路涨到几十万、上百万。宣传上这是能力跃升,实际使用时,收益曲线很快变平。

理解这条曲线,能省下不少冤枉钱。

窗口变大解决了什么问题?

解决了一次性输入的问题。过去要回答一份长报告的问题,得先切片、检索、拼接,流程复杂且容易丢上下文。窗口够大之后,整份文档塞进去,模型自己找。

这对法律、医疗、审计这类长文档场景是实质改善。原来需要工程手段解决的问题,现在变成提示词能解决的问题。

边际收益为什么快速衰减?

三个原因。第一是注意力稀释。窗口里塞的东西越多,每一条分到的注意力越少。关键信息淹没在大量无关内容里,模型反而找不准。

第二是位置偏差。多数模型对窗口开头和结尾的内容更敏感,中间部分容易被忽略。这是训练分布造成的,不是架构缺陷,但影响实际效果。

第三是成本线性增长。窗口翻倍,输入词元翻倍,费用翻倍,延迟也翻倍。而准确率的提升可能只有几个百分点。

多长的窗口最划算?

经验值因任务而异。单文档问答,两万到五万词元够用。多文档对比,五万到十万。全代码库理解,需要配合检索,不能靠塞。

判断标准很简单:把窗口从 A 加到 B,准确率提升是否超过成本增长的比例。没超过,就不值得。

长窗口会不会替代检索?

部分替代,不会全替代。窗口适合处理一次性的、内部关联紧密的材料。检索适合处理持续的、规模远超窗口的语料。

实际系统里两者要配合:先用检索缩小范围,再用长窗口做精细阅读。只用检索,会丢掉跨段落的关联;只用长窗口,成本和延迟都撑不住。

使用上有什么技巧?

三条。把最关键的指令放在开头和结尾,中间放材料。长材料先做结构化,加标题和编号,让模型能定位。明确要求模型引用原文位置,逼它真的去读,而不是凭印象答。

这三条能把长窗口的有效利用率提高不少,成本不变。

未来会怎样?

窗口还会涨,但涨的速度会慢下来。真正的突破不在窗口长度,在注意力的效率。能让模型在长上下文里保持均匀注意力的架构,比单纯加长度更有价值。

对使用者来说,别被数字营销带着走。买窗口不如买准确率,买准确率不如买自己任务上的实测结果。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论