批量处理文档,最大的浪费不是模型慢,是返工。一百份文件跑完发现格式错了,全部重来。所以设计比执行重要。
第一步做什么?
抽样。从一百份里挑十份,覆盖不同格式、不同长度、不同异常情况。
抽样不全,后面一定遇到没见过的格式,流程就断。
规则怎么定?
把处理要求写成可检查的条目。每份要提取哪几个字段,字段为空怎么办,格式不符怎么办。
三个问题都要有明确答案,不能靠模型临场判断。
为什么要先跑十份?
因为十份能在半小时内暴露八成问题。全量跑要几小时,错了就是几小时的浪费。
十份通过率不到九成,就不要放大。先改规则。
异常怎么处理?
三类。格式异常,跳过并记录。内容异常,标记待人工。规则未覆盖,暂停并补充规则。
第三类最关键。强行处理未覆盖的情况,会产生看起来正确实则错误的结果。
输出怎么组织?
三个要求。统一命名、统一结构、留原始文件索引。
第三点最容易被忽略。没有索引,出了问题无法回溯到源文件。
怎么验收?
三步。第一,全量跑一遍,统计异常率。第二,抽二十份人工比对。第三,差异超过阈值就回查规则。
阈值建议设在百分之五。超过就说明规则有系统性问题。
成本怎么控制?
两个动作。第一批用便宜模型试跑,规则稳定后再换更好的模型做精修。批量任务分批提交,避免一次性拉满。
第二个动作能避免限流导致的半途失败。
有哪些坑?
四个。第一,文件编码不统一。第二,表格里有合并单元格。第三,扫描件没有文字层。第四,文件名含特殊字符。
四个都要在抽样阶段发现,不能等全量跑完。
什么情况不该批量做?
三类。需要专业判断的,比如合同条款风险。需要逐份确认的,比如法律意见。数据不合规的。
三类硬做,产出的是不可用的批量结果,比手工更糟。
批量处理的核心是什么?
不是自动化,是可控。每一份都能追溯,每一类异常都有出口,每一次失败都能定位。
可控的批量,才敢交给客户。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论