智能体工作流跑长任务,最怕中途失败全部重来。断点恢复做得好,成本和稳定性都能改善。
为什么需要断点恢复?
三个原因。
第一,长任务耗时长。一个批量任务跑两小时,中途失败重跑,时间成本翻倍。
第二,外部依赖不稳定。接口超时、限流、网络抖动,都是常态。
第三,成本敏感。重跑意味着重复调用,费用翻倍。
断点恢复让失败只影响最后一个步骤,前面的成果保留。
断点该存在哪?
三种存储。
第一种,本地文件。简单可靠,适合单机任务。
第二种,数据库。适合多实例、需要并发控制的场景。
第三种,对象存储。适合产出大文件的场景。
选择标准是:恢复时能不能快速读到,以及多个实例会不会冲突。
断点该记什么?
五个字段。
第一,任务标识和步骤序号。
第二,输入摘要的哈希值。用于判断输入是否变化。
第三,步骤产出。中间结果存下来。
第四,状态。成功、失败、跳过。
第五,时间戳和重试次数。
五个字段齐全,恢复时才知道从哪继续、要不要重跑。
怎么设计恢复流程?
四步。
第一步,启动时先查断点。有断点就从断点后继续,没有就从头。
第二步,校验输入。输入的哈希值和断点记录不一致,说明输入变了,要重跑。
第三步,跳过已完成步骤。已成功的步骤直接读产出,不重新执行。
第四步,处理失败步骤。按重试策略处理,超过上限则标记失败并继续后续。
关键点是第四步:失败的步骤不要阻塞整个流程,标记后继续,最后统一处理。
幂等怎么保证?
断点恢复的前提是步骤可重复执行不出错。
三个方法。
第一,写操作前先查是否已存在。存在就跳过。
第二,用唯一键做去重。同一任务同一输入,只处理一次。
第三,记录外部调用的请求 ID。重复调用时用同一个 ID,服务端会去重。
不做幂等,恢复时可能产生重复数据,比不恢复更麻烦。
常见问题?
第一,断点存了但没校验输入。输入变了还按断点继续,结果错。
第二,失败步骤直接中断。一个步骤失败,整个任务停住。
第三,不记重试次数。无限重试,成本失控。
第四,断点不清理。任务完成后断点还在,下次误用。
第五,多实例冲突。两个实例同时对同一任务做恢复,产生重复。
怎么验证?
三个测试。
第一,中途 kill 进程,重启后看能否从断点继续。
第二,故意让某步骤失败,看是否跳过并继续。
第三,输入变更后启动,看是否识别并重跑。
三个测试通过,恢复机制才算可用。
断点恢复的价值在长任务上。短任务做这个,收益不足以覆盖复杂度。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论