智能体出错后重试,做得好是容错,做不好是放大故障。区别在于重试前有没有判断。
哪些错误该重试?
网络超时、限流、临时不可用,这三类该重试。它们是瞬时的,等一会就好。
工具返回格式异常、模型输出不符合约定格式,这类可以重试,但要改提示词或参数,不能原样重发。
哪些错误不该重试?
参数错误、权限不足、资源不存在。这三类重试一百次也一样,只会浪费时间与额度。
内容违规被拒,也不该重试。重试可能触发更严的限制。
重试该怎么设计?
第一,退避。间隔逐次拉长,给上游恢复的时间。固定间隔会加剧拥塞。
第二,上限。最多重试几次,超过就失败退出,不要无限循环。
第三,幂等。重试前确认操作是否可重复执行。写操作重试可能产生重复数据。
怎么避免重试放大问题?
加熔断。同类错误在短时间内出现多次,就暂停该工具的调用,等一段时间再试。
加降级。主路径失败时走备用路径,比如换模型、换接口、返回缓存结果。
加告警。重试次数异常上升,通常意味着上游出问题,要有人知道。
怎么记录?
每次重试都要记录:第几次、什么错误、间隔多久、最终结果。这些数据是调优的依据。
记录要能聚合。单次看不出规律,聚合成趋势才能发现系统性问题。
怎么验证重试逻辑?
人为制造失败:断网、返回 500、返回超时。看系统是否按预期重试、是否在超限后停止。
不做故障注入,重试逻辑永远是纸面上的。真出事时才发现写错了。
最后一句:重试是给瞬时故障的补丁,不是给设计缺陷的遮羞布。分不清这两者,重试只会掩盖问题。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论