RAG 召回不准,最常见的处理方式是换模型、调参数、加数据,试一圈没效果。正确顺序是先查三件事:切分、检索、重排。三个环节任何一环出问题,都会表现为「召回不准」。
第一件该查什么?
查切分。文档切得太大,一段里混了多个主题,检索命中后模型抓不住重点;切得太小,一句话被拆散,语义不完整。检查方法很简单:随机抽十段,看每段是否只讲一件事。不是,就先改切分。
第二件该查什么?
查检索。三个问题:用的什么检索方式,关键词、向量还是混合;索引有没有更新,新文档进没进去;查询有没有改写,用户的问法和文档写法是否一致。三个问题里,第三个最常被忽略,加一层查询改写往往能明显提升命中率。
第三件该查什么?
查重排。召回了二十条,真正有用的可能只有三条,但排序把它们排在后面。检查方法:看正确答案的排名,排在前三的比例有多少。比例低,说明重排需要加,或者需要加更强的重排模型。
怎么判断问题出在哪一环?
三步定位。第一,用标准答案反查,看它是否被召回;第二,被召回了但排名靠后,是重排问题;第三,根本没被召回,是切分或检索问题。三步能把问题范围缩小到一环,避免盲目调参。
数据本身有问题怎么办?
三种情况。文档过时,答案本身是错的;文档重复,同一内容多个版本互相矛盾;文档缺失,答案根本不在库里。三种里,第二种最隐蔽,因为它不会报错,只会给出矛盾答案。上线前要做一次去重与版本核对。
怎么持续改进?
两个机制。第一,badcase 库,把答错的案例记下来,定期归因;第二,评测集,固定一批问题,每次改动后跑一遍。两个机制里,第一个最能发现问题模式,第二个最能防止改坏。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论