长上下文窗口越来越大,宣传里常有一句可以整本放进去。但窗口大不等于成本低,也不等于效果一定好,这里有两笔账要分开算。

上下文长度和费用是什么关系?

输入 token 按量计费,上下文越长,每次请求的输入费用越高。一次放十万 token 和分十次放一万 token,总输入量一样,但前者每次都要重复付费,且延迟更高。

还有注意力衰减的问题:内容太长时,模型对中段信息的利用率会下降。把关键约束放在开头和结尾,比均匀铺开更有效。

延迟也是成本。长上下文的首字时间更长,用户等待更久。对交互式产品,这一点往往比费用更影响体验。

长上下文和检索该怎么分工?

按查询类型分。需要全局理解的任务,比如总结一份合同、找出一份报告里的矛盾,适合整篇放进去。需要在大量资料里定位事实的任务,适合先检索再放。

一个实用规则:如果资料总量超过模型窗口的一半,先用检索缩小到相关片段;如果任务本身要求跨段推理,才用长上下文。

成本怎么估算?

把平均输入长度乘以调用次数,就是输入成本的下限。再加上重试和缓存失效,实际会高两三成。很多团队低估成本,是因为只算了单次,没算一天跑多少次。

优化方向有三个:压缩无关段落、把固定部分做缓存、把长文档预处理成结构化摘要。三者叠加,通常能省一半以上。

长上下文有哪些效果陷阱?

长上下文里放太多无关内容,会稀释关键信息,模型反而更容易漏。放进去之前先问一句:这段材料对回答这个问题有用吗。没用就删,删比放更考验判断。

还有一个陷阱是位置偏差:同样的证据放在开头和放在中段,被引用的概率不同。重要约束要重复一次,放在结尾。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论