长上下文和检索增强经常被拿来对比,好像必须二选一。实际上它们是两种不同的取信息方式,适用场景并不重叠。
两者的本质差别是什么?
长上下文是把所有材料一次性摆到模型面前,让它自己找。优点是全局可见,能发现跨段矛盾;缺点是贵、慢,且材料多时注意力会稀释。
检索增强是先筛后读,只把相关片段给模型。优点是便宜、可控、可溯源;缺点是筛错就全错,且看不到全局关系。
按查询类型怎么分工?
需要跨段推理的问题,比如这份合同有哪些条款互相冲突,适合长上下文。需要定位事实的问题,比如某条规定的具体数字,适合检索。
还有一个混合策略:先检索缩小范围,再把缩小后的全部材料放进上下文。这样既有筛选,又保留局部全局性。多数业务场景用这一种最稳。
成本和效果怎么权衡?
如果单次查询成本敏感,检索优先。如果准确率敏感且材料总量可控,长上下文优先。
一个可操作的阈值:材料总量在模型窗口三成以内,直接放;超过五成,先检索。两者之间按业务风险决定。
还要考虑更新频率。知识库每天变,检索要同步更新索引;长上下文每次都要重新拼材料。前者工程复杂,后者调用简单。
常见的错误组合是什么?
把大量无关材料塞进长上下文,指望模型自己筛。结果关键信息被淹没,还多花了钱。
或者检索只取前三条,材料不足就要求模型回答全局问题。模型只能编。
正确的做法是先想清楚问题需要多少上下文,再决定用哪种方式取。工具服务于问题,不是反过来。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论