做知识库问答,绕不开一个选择:是把资料塞进长上下文,还是建向量库做检索。

两派各有拥趸。长上下文派说检索会丢信息,向量库派说长上下文太贵。实际答案取决于语料规模和查询模式。

长上下文的优势在哪?

优势在完整性。整份文档进去,模型能看到所有细节,包括段落之间的关系、图表的位置、脚注的内容。检索做不到这一点,它按相似度取片段,天然丢失结构。

对需要跨段推理的问题,这个优势很明显。比如问这份合同里关于违约的三处条款是否冲突,检索可能只取到两处,长上下文能看到全部。

向量库的优势在哪?

优势在规模。语料上百GB、上千份文档时,长上下文装不下,只能检索。另一个优势是成本,每次查询只送几个片段进去,词元消耗小一个量级。

还有一层优势是可更新。新文档入库即可被检索到,长上下文需要重新组织输入。

规模分界线在哪?

经验值:语料总量在五十万词元以内,长上下文更省事。超过一百万词元,检索更现实。中间地带看查询频率,高频查询用检索省钱,低频查询用长上下文省事。

还有一个变量是文档结构。结构化好的文档(有清晰章节、编号),检索效果好;结构松散的文档(对话记录、零散笔记),检索容易取偏。

混合方案怎么设计?

三层。第一层用检索缩小候选范围,把相关文档块捞出来。第二层把这些块按原文顺序重排,恢复部分结构。第三层把重排后的内容送进长上下文,让模型做精细阅读。

这个方案的关键在第二层。多数检索系统只按相似度排序,丢失了原文顺序。恢复顺序能让模型看到上下文关联,效果提升明显。

常见错误是什么?

第一个错误是切片太碎。按固定长度切,一句话被切成两半,语义断裂。应该按语义边界切,段落、章节、问答对。

第二个错误是不做重排。取回十个片段,按相似度排,模型读到的是跳跃的内容。

第三个错误是只用向量。向量检索擅长语义相近,不擅长精确匹配。产品型号、专有名词、错误码这类查询,关键词检索更准。应该混合使用。

该先上哪个?

先上最简单的。语料不大,直接长上下文,别急着建向量库。跑一段时间,发现成本扛不住或者语料装不下,再上检索。

反过来,先建向量库再考虑长上下文的团队,往往在检索质量上耗掉大量时间,而其中很多问题用长上下文本来就不会出现。

技术选型的顺序应该是从简单到复杂,不是从先进到落后。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论