OCR只解决认字问题。认出来之后,字在页面上的位置关系、阅读顺序、层级结构,全靠版面重建。
这一步做不好,OCR的准确率再高也没用。因为语义大量存在于结构里。
版面重建要还原什么?
四样东西。阅读顺序、区块类型、层级关系、表格结构。
阅读顺序决定语义连贯。多栏排版的文档,如果按从左到右横切,读者会读到第一栏第一行接第二栏第一行,语义全乱。
区块类型决定内容角色。标题、正文、图注、页脚、侧边栏,不同类型的内容在后续处理里权重不同。
层级关系决定大纲。一级标题下有哪些二级标题,哪些段落属于哪一节。这个结构是摘要和检索的基础。
表格结构决定数据可用性。行列关系、合并单元格、表头,缺一样表格就不能直接用。
阅读顺序怎么判断?
三种方法。基于坐标的规则法,按栏切分再按栏内纵坐标排序。基于视觉模型的方法,识别版面元素后用图结构排序。基于语言模型的方法,把文本块序列输入模型,让它判断顺序。
规则法快但对复杂版式失效。视觉模型适应性好但需要训练数据。语言模型灵活但成本高、速度慢。
实践中常用视觉模型加规则兜底。
区块类型怎么识别?
先做区域检测,把页面切成若干矩形区域,每个区域判断类型。类型通常分:标题、段落、列表、表格、图片、公式、页眉页脚、页码。
关键难点是版面相似但类型不同的情况。比如一个大字号加粗的段落,可能是标题,也可能是强调正文。这需要结合字号、位置、上下文判断。
层级关系怎么建?
从字号和编号推断。中文文档的层级信号比较明确:一、二、三是一级,(一)(二)是二级,1. 2. 3. 是三级。
没有编号的文档靠字号和缩进推断。这一步容易出错,尤其是设计感强的文档,字号变化不代表层级变化。
稳妥做法是把推断结果标出来,让用户能修正。
表格结构怎么还原?
三步。检测表格区域,识别行列线,处理合并单元格。
没有框线的表格最难。要靠文字对齐和间距推断列边界。这类表格在财务报表里很常见。
合并单元格的识别要靠跨行跨列的空缺模式。识别错了,整张表的数据对应关系就错。
输出成什么格式?
推荐结构化标记而不是纯文本。Markdown适合简单文档,HTML适合复杂版面,JSON适合需要程序处理的场景。
关键是要保留原始坐标信息。后续做引用溯源、做可视化校对,都需要知道每段文字在页面上的位置。
怎么验证重建质量?
三个测试。阅读顺序测试:随机抽十页,人工读一遍重建结果,看是否通顺。结构测试:对比重建的大纲和原文目录,看层级是否一致。表格测试:抽五张复杂表格,逐格核对。
三项都过,才算可用。
结论?
OCR是识字,版面重建是读懂。前者靠模型,后者靠工程。
多数方案在前者投入过多,在后者投入不足。实际业务里,决定可用性的是后者。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论