长上下文是个容易被误用的能力。很多人以为窗口越大越好,把所有材料一股脑塞进去,结果输出质量反而下降。

为什么塞满会变差?

因为注意力会稀释。窗口里的内容越多,每一段分到的注意力越少。关键信息被大量无关内容包围,模型抓不住。

这和人的阅读类似:给你一本三百页的材料让你半小时总结,你只能抓到目录和标题。

正确的用法是什么?

三段式。第一段放任务说明和输出要求,第二段放关键材料,第三段放补充材料。

关键材料放中间偏前的位置,因为模型对开头和结尾的注意力更强。补充材料放后面,作为参考。

材料该怎么筛?

三个原则。第一,只放和任务直接相关的。第二,同一主题的材料合并,不要放多个版本。第三,长材料先做摘要,用摘要代替全文。

第三条最有效。一份五十页的报告,先用模型摘要成两页,再把摘要放进主任务,效果通常比直接放全文好。

什么时候该分段处理?

三种情况。第一,材料总量超过窗口的一半。第二,任务需要多轮推理。第三,输出要求很长。

分段处理的做法是先分块提取,再汇总。每块单独处理,结果拼起来做第二轮。

怎么保证跨段的一致性?

两个做法。第一,固定提取模板,每块用同样的字段。第二,最后做一次一致性检查,看各块结论有没有冲突。

冲突是重要信号,说明材料本身有矛盾,或者提取有偏差。

有什么常见误区?

三个。第一,以为长上下文等于长记忆。窗口是单次会话的,跨会话不保留。第二,以为放了就等于用了。模型可能忽略中间部分。第三,以为越长越准。实际上超过一定长度,准确率会下降。

第二个最普遍。放了材料不等于模型用了材料,要在输出里要求引用具体段落来验证。

怎么验证它真的用了?

要求它在回答里标注依据来自哪一段。标注不出来的部分,基本就是它自己编的。

这个方法简单有效,比看它答得流不流畅可靠得多。

最该提醒的是什么?

长上下文是容量,不是能力。会用的人靠筛选和结构化,不会用的人靠堆量。两者的输出质量差得很远。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论