批量处理文档,最大的浪费不是模型慢,是返工。一百份文件跑完发现格式错了,全部重来。所以设计比执行重要。

第一步做什么?

抽样。从一百份里挑十份,覆盖不同格式、不同长度、不同异常情况。

抽样不全,后面一定遇到没见过的格式,流程就断。

规则怎么定?

把处理要求写成可检查的条目。每份要提取哪几个字段,字段为空怎么办,格式不符怎么办。

三个问题都要有明确答案,不能靠模型临场判断。

为什么要先跑十份?

因为十份能在半小时内暴露八成问题。全量跑要几小时,错了就是几小时的浪费。

十份通过率不到九成,就不要放大。先改规则。

异常怎么处理?

三类。格式异常,跳过并记录。内容异常,标记待人工。规则未覆盖,暂停并补充规则。

第三类最关键。强行处理未覆盖的情况,会产生看起来正确实则错误的结果。

输出怎么组织?

三个要求。统一命名、统一结构、留原始文件索引。

第三点最容易被忽略。没有索引,出了问题无法回溯到源文件。

怎么验收?

三步。第一,全量跑一遍,统计异常率。第二,抽二十份人工比对。第三,差异超过阈值就回查规则。

阈值建议设在百分之五。超过就说明规则有系统性问题。

成本怎么控制?

两个动作。第一批用便宜模型试跑,规则稳定后再换更好的模型做精修。批量任务分批提交,避免一次性拉满。

第二个动作能避免限流导致的半途失败。

有哪些坑?

四个。第一,文件编码不统一。第二,表格里有合并单元格。第三,扫描件没有文字层。第四,文件名含特殊字符。

四个都要在抽样阶段发现,不能等全量跑完。

什么情况不该批量做?

三类。需要专业判断的,比如合同条款风险。需要逐份确认的,比如法律意见。数据不合规的。

三类硬做,产出的是不可用的批量结果,比手工更糟。

批量处理的核心是什么?

不是自动化,是可控。每一份都能追溯,每一类异常都有出口,每一次失败都能定位。

可控的批量,才敢交给客户。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论