OCR只解决认字问题。认出来之后,字在页面上的位置关系、阅读顺序、层级结构,全靠版面重建。

这一步做不好,OCR的准确率再高也没用。因为语义大量存在于结构里。

版面重建要还原什么?

四样东西。阅读顺序、区块类型、层级关系、表格结构。

阅读顺序决定语义连贯。多栏排版的文档,如果按从左到右横切,读者会读到第一栏第一行接第二栏第一行,语义全乱。

区块类型决定内容角色。标题、正文、图注、页脚、侧边栏,不同类型的内容在后续处理里权重不同。

层级关系决定大纲。一级标题下有哪些二级标题,哪些段落属于哪一节。这个结构是摘要和检索的基础。

表格结构决定数据可用性。行列关系、合并单元格、表头,缺一样表格就不能直接用。

阅读顺序怎么判断?

三种方法。基于坐标的规则法,按栏切分再按栏内纵坐标排序。基于视觉模型的方法,识别版面元素后用图结构排序。基于语言模型的方法,把文本块序列输入模型,让它判断顺序。

规则法快但对复杂版式失效。视觉模型适应性好但需要训练数据。语言模型灵活但成本高、速度慢。

实践中常用视觉模型加规则兜底。

区块类型怎么识别?

先做区域检测,把页面切成若干矩形区域,每个区域判断类型。类型通常分:标题、段落、列表、表格、图片、公式、页眉页脚、页码。

关键难点是版面相似但类型不同的情况。比如一个大字号加粗的段落,可能是标题,也可能是强调正文。这需要结合字号、位置、上下文判断。

层级关系怎么建?

从字号和编号推断。中文文档的层级信号比较明确:一、二、三是一级,(一)(二)是二级,1. 2. 3. 是三级。

没有编号的文档靠字号和缩进推断。这一步容易出错,尤其是设计感强的文档,字号变化不代表层级变化。

稳妥做法是把推断结果标出来,让用户能修正。

表格结构怎么还原?

三步。检测表格区域,识别行列线,处理合并单元格。

没有框线的表格最难。要靠文字对齐和间距推断列边界。这类表格在财务报表里很常见。

合并单元格的识别要靠跨行跨列的空缺模式。识别错了,整张表的数据对应关系就错。

输出成什么格式?

推荐结构化标记而不是纯文本。Markdown适合简单文档,HTML适合复杂版面,JSON适合需要程序处理的场景。

关键是要保留原始坐标信息。后续做引用溯源、做可视化校对,都需要知道每段文字在页面上的位置。

怎么验证重建质量?

三个测试。阅读顺序测试:随机抽十页,人工读一遍重建结果,看是否通顺。结构测试:对比重建的大纲和原文目录,看层级是否一致。表格测试:抽五张复杂表格,逐格核对。

三项都过,才算可用。

结论?

OCR是识字,版面重建是读懂。前者靠模型,后者靠工程。

多数方案在前者投入过多,在后者投入不足。实际业务里,决定可用性的是后者。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论