这两个不是替代关系,是两种取资料的策略。选错不会报错,只会让成本和效果同时变差。

两者的本质差别是什么?

检索是先筛再读,长上下文是全读再筛。

前者省 token,后者省工程。省的那一边,决定了适用场景。

检索的优势在哪?

三个。成本低,只读命中的片段。可追溯,能指回原文。可扩展到海量资料。

第三个最关键。资料到十万份,长上下文放不下。

长上下文的优势在哪?

三个。全局一致性,能看完整份材料。少工程,不用切片和索引。跨段推理,能找到分散线索的联系。

第二个对小团队最实用。

什么场景该用检索?

四类。海量资料库。高频重复问题。需要精确引用的。资料更新频繁的。

四类共同点:资料量超过单次上下文。

什么场景该用长上下文?

三类。单份长文档的深度分析。跨文档的对比。需要整体判断的。

三类共同点:材料有限,但要看全。

混合怎么做?

两步。第一,检索缩小范围,取前若干片段。第二,把片段和必要的上下文一起送进长上下文做判断。

两级配合,成本和精度都能兼顾。

怎么选阈值?

按资料量。单次能读完的,用长上下文;读不完的,用检索。

再按精度。需要精确引用的,检索优先;需要整体判断的,长上下文优先。

有哪些常见误用?

四个。第一,把整个库塞进上下文。第二,检索只给片段不给上下文。第三,切片按字数不按语义。第四,不做命中率评估。

第三个最普遍。切断了语义,检索再准也没用。

怎么评估效果?

三个指标。答案正确率、引用准确率、单次成本。

第二个最容易被忽略,但它是可信度的来源。

这篇的核心结论是什么?

长上下文买的是全局视野,检索买的是规模。先看资料量,再看精度要求。

还有哪些需要留意的点?

两者都在快速演进。选型建议每半年复测一次,别一次定终身。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论