智能体工作流跑长任务,最怕中途失败全部重来。断点恢复做得好,成本和稳定性都能改善。

为什么需要断点恢复?

三个原因。

第一,长任务耗时长。一个批量任务跑两小时,中途失败重跑,时间成本翻倍。

第二,外部依赖不稳定。接口超时、限流、网络抖动,都是常态。

第三,成本敏感。重跑意味着重复调用,费用翻倍。

断点恢复让失败只影响最后一个步骤,前面的成果保留。

断点该存在哪?

三种存储。

第一种,本地文件。简单可靠,适合单机任务。

第二种,数据库。适合多实例、需要并发控制的场景。

第三种,对象存储。适合产出大文件的场景。

选择标准是:恢复时能不能快速读到,以及多个实例会不会冲突。

断点该记什么?

五个字段。

第一,任务标识和步骤序号。

第二,输入摘要的哈希值。用于判断输入是否变化。

第三,步骤产出。中间结果存下来。

第四,状态。成功、失败、跳过。

第五,时间戳和重试次数。

五个字段齐全,恢复时才知道从哪继续、要不要重跑。

怎么设计恢复流程?

四步。

第一步,启动时先查断点。有断点就从断点后继续,没有就从头。

第二步,校验输入。输入的哈希值和断点记录不一致,说明输入变了,要重跑。

第三步,跳过已完成步骤。已成功的步骤直接读产出,不重新执行。

第四步,处理失败步骤。按重试策略处理,超过上限则标记失败并继续后续。

关键点是第四步:失败的步骤不要阻塞整个流程,标记后继续,最后统一处理。

幂等怎么保证?

断点恢复的前提是步骤可重复执行不出错。

三个方法。

第一,写操作前先查是否已存在。存在就跳过。

第二,用唯一键做去重。同一任务同一输入,只处理一次。

第三,记录外部调用的请求 ID。重复调用时用同一个 ID,服务端会去重。

不做幂等,恢复时可能产生重复数据,比不恢复更麻烦。

常见问题?

第一,断点存了但没校验输入。输入变了还按断点继续,结果错。

第二,失败步骤直接中断。一个步骤失败,整个任务停住。

第三,不记重试次数。无限重试,成本失控。

第四,断点不清理。任务完成后断点还在,下次误用。

第五,多实例冲突。两个实例同时对同一任务做恢复,产生重复。

怎么验证?

三个测试。

第一,中途 kill 进程,重启后看能否从断点继续。

第二,故意让某步骤失败,看是否跳过并继续。

第三,输入变更后启动,看是否识别并重跑。

三个测试通过,恢复机制才算可用。

断点恢复的价值在长任务上。短任务做这个,收益不足以覆盖复杂度。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论