上下文窗口从四千词元一路涨到几十万、上百万。宣传上这是能力跃升,实际使用时,收益曲线很快变平。
理解这条曲线,能省下不少冤枉钱。
窗口变大解决了什么问题?
解决了一次性输入的问题。过去要回答一份长报告的问题,得先切片、检索、拼接,流程复杂且容易丢上下文。窗口够大之后,整份文档塞进去,模型自己找。
这对法律、医疗、审计这类长文档场景是实质改善。原来需要工程手段解决的问题,现在变成提示词能解决的问题。
边际收益为什么快速衰减?
三个原因。第一是注意力稀释。窗口里塞的东西越多,每一条分到的注意力越少。关键信息淹没在大量无关内容里,模型反而找不准。
第二是位置偏差。多数模型对窗口开头和结尾的内容更敏感,中间部分容易被忽略。这是训练分布造成的,不是架构缺陷,但影响实际效果。
第三是成本线性增长。窗口翻倍,输入词元翻倍,费用翻倍,延迟也翻倍。而准确率的提升可能只有几个百分点。
多长的窗口最划算?
经验值因任务而异。单文档问答,两万到五万词元够用。多文档对比,五万到十万。全代码库理解,需要配合检索,不能靠塞。
判断标准很简单:把窗口从 A 加到 B,准确率提升是否超过成本增长的比例。没超过,就不值得。
长窗口会不会替代检索?
部分替代,不会全替代。窗口适合处理一次性的、内部关联紧密的材料。检索适合处理持续的、规模远超窗口的语料。
实际系统里两者要配合:先用检索缩小范围,再用长窗口做精细阅读。只用检索,会丢掉跨段落的关联;只用长窗口,成本和延迟都撑不住。
使用上有什么技巧?
三条。把最关键的指令放在开头和结尾,中间放材料。长材料先做结构化,加标题和编号,让模型能定位。明确要求模型引用原文位置,逼它真的去读,而不是凭印象答。
这三条能把长窗口的有效利用率提高不少,成本不变。
未来会怎样?
窗口还会涨,但涨的速度会慢下来。真正的突破不在窗口长度,在注意力的效率。能让模型在长上下文里保持均匀注意力的架构,比单纯加长度更有价值。
对使用者来说,别被数字营销带着走。买窗口不如买准确率,买准确率不如买自己任务上的实测结果。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论