长文档处理是个高频需求:合同、报告、手册、论文。直接塞进上下文往往效果不好,需要选对路径。

三条路径对应不同的任务类型。

第一条路径是什么?

整篇摘要。把文档分段摘要,再对摘要做二次摘要。

适合的任务是快速了解全文,不适合需要精确引用的场景。

缺点是信息损失逐层累积。两层摘要之后,细节基本没了。

第二条路径是什么?

检索定位。先把文档切块建索引,提问时检索相关块,只把相关块给模型。

适合的任务是问答和查证,不适合需要全局理解的任务。

缺点是切块会破坏上下文。一个跨段落的论证,被切开之后就看不完整。

第三条路径是什么?

结构化抽取。按预设的字段,从文档里逐项提取,输出成表格。

适合的任务是合同条款、报告数据、表单信息的整理。

缺点是只能提取预设字段,遇到意外内容会漏。

怎么选路径?

按任务目标选。要概览用第一条,要问答用第二条,要整理成结构化数据用第三条。

也可以组合。先用第一条了解全文,再用第二条定位细节,最后用第三条填表。

分块该怎么切?

按语义切,不按字数切。先按章节切,再在章节内按段落切,每块保留所属的章节标题。

保留标题路径很重要,它给每块提供了上下文,能显著提升检索命中率。

表格怎么处理?

单独处理,不要混在正文里。表格转成结构化数据单独索引,检索时按行列查。

混在正文里的表格,切块之后结构会丢,模型读不懂。

怎么验证效果?

建一个测试集,二十到五十个问题,每个标注答案所在的位置。

然后测两个指标:检索命中率、答案正确率。分开测,才知道该优化哪一环。

有什么常见坑?

三个。第一,扫描件没做 OCR 就直接处理,结果全是乱码。第二,页眉页脚混进正文,污染内容。第三,多栏排版的顺序错乱。

第三个最隐蔽。双栏论文按行读取,会把两栏的内容交错在一起,语义完全乱。

最后该记住什么?

长文档处理的核心不是模型能力,是预处理质量。预处理做得好,普通模型也能出好结果。

预处理做得差,最强的模型也只能给你一堆看起来通顺的错话。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论