这两个不是替代关系,是两种取资料的策略。选错不会报错,只会让成本和效果同时变差。
两者的本质差别是什么?
检索是先筛再读,长上下文是全读再筛。
前者省 token,后者省工程。省的那一边,决定了适用场景。
检索的优势在哪?
三个。成本低,只读命中的片段。可追溯,能指回原文。可扩展到海量资料。
第三个最关键。资料到十万份,长上下文放不下。
长上下文的优势在哪?
三个。全局一致性,能看完整份材料。少工程,不用切片和索引。跨段推理,能找到分散线索的联系。
第二个对小团队最实用。
什么场景该用检索?
四类。海量资料库。高频重复问题。需要精确引用的。资料更新频繁的。
四类共同点:资料量超过单次上下文。
什么场景该用长上下文?
三类。单份长文档的深度分析。跨文档的对比。需要整体判断的。
三类共同点:材料有限,但要看全。
混合怎么做?
两步。第一,检索缩小范围,取前若干片段。第二,把片段和必要的上下文一起送进长上下文做判断。
两级配合,成本和精度都能兼顾。
怎么选阈值?
按资料量。单次能读完的,用长上下文;读不完的,用检索。
再按精度。需要精确引用的,检索优先;需要整体判断的,长上下文优先。
有哪些常见误用?
四个。第一,把整个库塞进上下文。第二,检索只给片段不给上下文。第三,切片按字数不按语义。第四,不做命中率评估。
第三个最普遍。切断了语义,检索再准也没用。
怎么评估效果?
三个指标。答案正确率、引用准确率、单次成本。
第二个最容易被忽略,但它是可信度的来源。
这篇的核心结论是什么?
长上下文买的是全局视野,检索买的是规模。先看资料量,再看精度要求。
还有哪些需要留意的点?
两者都在快速演进。选型建议每半年复测一次,别一次定终身。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论