做文档智能,第一步是解析。解析不好,后面全是垃圾进垃圾出。

市面上的解析工具很多,宣传都在说高准确率。真正该看的指标只有一个:表格还原率。

为什么表格是试金石?

因为表格最能暴露解析能力。纯文本段落,任何工具都能抽出个大概。表格要还原,需要同时做四件事:识别表格边界、识别行列结构、处理合并单元格、保持单元格内的文本完整。

四件事里任何一件出错,表格就废了。合并单元格处理错,行列表错位;边界识别错,两个表被并成一个。

而企业文档里,关键信息大量在表格里。

怎么测表格还原率?

不要用厂商给的样例。拿自己业务里最复杂的五份文档,人工标出每个表格的正确结构,然后跑工具,逐格对比。

对比三个维度:单元格内容是否完整、行列数是否正确、合并单元格是否还原。三个维度都对的表格算成功。

成功表格数除以总表格数,就是还原率。低于八成,这个工具在你的场景上不可用。

除了表格还要看什么?

三个次要指标。第一是阅读顺序,多栏排版、图文混排的文档,抽取顺序错了,语义就乱了。第二是页眉页脚处理,这些内容要能识别并排除,否则每页都混进无关文字。第三是公式和特殊符号,技术文档里的公式如果被拆成乱码,整段就废了。

这三个指标不用追求满分,够用即可。

主流的几类方案有什么差异?

第一类是规则加模板,速度快、成本低,但对版式变化敏感。适合版式固定的批量文档。

第二类是版面分析模型,能识别区域类型,适应性好。复杂版式表现优于规则方案。

第三类是端到端视觉大模型,直接把页面图像转成结构化文本。灵活度最高,对复杂版式适应最好,但成本高、速度慢,且输出格式不稳定。

第四类是混合方案,先用版面分析定位,再用视觉模型处理难点区域。性价比最高,工程复杂度也最高。

该怎么选?

按文档量和版式复杂度分。日处理几千份、版式统一,用规则加模板。版式多样、数量中等,用版面分析。数量少但每份都关键,用视觉大模型。追求综合最优,用混合。

再补一条:必须支持增量和新版式。业务会变,文档版式会变,工具要能快速适配,不能每次都重训。

常见误区是什么?

第一个误区是只测中文。业务文档里常有英文、数字、符号混排,只测中文会低估问题。

第二个误区是忽略扫描件。电子文档和扫描件的解析难度差一个量级,扫描件还要加预处理。

第三个误区是不做回归测试。换了新工具,老文档的解析结果可能变差,没有回归测试就发现不了。

结论?

解析是地基。地基上多花一周,后面能省一个月。选工具时把表格还原率当成硬指标,其他指标当参考,决策会清楚很多。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论