长上下文是个容易被误用的能力。很多人以为窗口越大越好,把所有材料一股脑塞进去,结果输出质量反而下降。
为什么塞满会变差?
因为注意力会稀释。窗口里的内容越多,每一段分到的注意力越少。关键信息被大量无关内容包围,模型抓不住。
这和人的阅读类似:给你一本三百页的材料让你半小时总结,你只能抓到目录和标题。
正确的用法是什么?
三段式。第一段放任务说明和输出要求,第二段放关键材料,第三段放补充材料。
关键材料放中间偏前的位置,因为模型对开头和结尾的注意力更强。补充材料放后面,作为参考。
材料该怎么筛?
三个原则。第一,只放和任务直接相关的。第二,同一主题的材料合并,不要放多个版本。第三,长材料先做摘要,用摘要代替全文。
第三条最有效。一份五十页的报告,先用模型摘要成两页,再把摘要放进主任务,效果通常比直接放全文好。
什么时候该分段处理?
三种情况。第一,材料总量超过窗口的一半。第二,任务需要多轮推理。第三,输出要求很长。
分段处理的做法是先分块提取,再汇总。每块单独处理,结果拼起来做第二轮。
怎么保证跨段的一致性?
两个做法。第一,固定提取模板,每块用同样的字段。第二,最后做一次一致性检查,看各块结论有没有冲突。
冲突是重要信号,说明材料本身有矛盾,或者提取有偏差。
有什么常见误区?
三个。第一,以为长上下文等于长记忆。窗口是单次会话的,跨会话不保留。第二,以为放了就等于用了。模型可能忽略中间部分。第三,以为越长越准。实际上超过一定长度,准确率会下降。
第二个最普遍。放了材料不等于模型用了材料,要在输出里要求引用具体段落来验证。
怎么验证它真的用了?
要求它在回答里标注依据来自哪一段。标注不出来的部分,基本就是它自己编的。
这个方法简单有效,比看它答得流不流畅可靠得多。
最该提醒的是什么?
长上下文是容量,不是能力。会用的人靠筛选和结构化,不会用的人靠堆量。两者的输出质量差得很远。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论