长文档处理是个高频需求:合同、报告、手册、论文。直接塞进上下文往往效果不好,需要选对路径。
三条路径对应不同的任务类型。
第一条路径是什么?
整篇摘要。把文档分段摘要,再对摘要做二次摘要。
适合的任务是快速了解全文,不适合需要精确引用的场景。
缺点是信息损失逐层累积。两层摘要之后,细节基本没了。
第二条路径是什么?
检索定位。先把文档切块建索引,提问时检索相关块,只把相关块给模型。
适合的任务是问答和查证,不适合需要全局理解的任务。
缺点是切块会破坏上下文。一个跨段落的论证,被切开之后就看不完整。
第三条路径是什么?
结构化抽取。按预设的字段,从文档里逐项提取,输出成表格。
适合的任务是合同条款、报告数据、表单信息的整理。
缺点是只能提取预设字段,遇到意外内容会漏。
怎么选路径?
按任务目标选。要概览用第一条,要问答用第二条,要整理成结构化数据用第三条。
也可以组合。先用第一条了解全文,再用第二条定位细节,最后用第三条填表。
分块该怎么切?
按语义切,不按字数切。先按章节切,再在章节内按段落切,每块保留所属的章节标题。
保留标题路径很重要,它给每块提供了上下文,能显著提升检索命中率。
表格怎么处理?
单独处理,不要混在正文里。表格转成结构化数据单独索引,检索时按行列查。
混在正文里的表格,切块之后结构会丢,模型读不懂。
怎么验证效果?
建一个测试集,二十到五十个问题,每个标注答案所在的位置。
然后测两个指标:检索命中率、答案正确率。分开测,才知道该优化哪一环。
有什么常见坑?
三个。第一,扫描件没做 OCR 就直接处理,结果全是乱码。第二,页眉页脚混进正文,污染内容。第三,多栏排版的顺序错乱。
第三个最隐蔽。双栏论文按行读取,会把两栏的内容交错在一起,语义完全乱。
最后该记住什么?
长文档处理的核心不是模型能力,是预处理质量。预处理做得好,普通模型也能出好结果。
预处理做得差,最强的模型也只能给你一堆看起来通顺的错话。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论