任务拆解是智能体最核心的能力之一。拆得好,后续每步都顺;拆得差,中间一定卡住。

这篇按实测的角度,讲怎么评这项能力。

什么算拆得好?

三个标准。第一,每一步都有明确的输入输出。第二,步与步之间的依赖关系清楚。第三,有失败处理。

第三条最容易被忽略。真实任务一定会失败,拆解时没有回退路径,整个流程就断。

怎么设计测试任务?

建议四类。第一类,单一动作,测试基础理解。第二类,三到五步的线性任务。第三类,有分支条件的任务。第四类,需要中途调整的任务。

第三类和第四类最能暴露问题。

线性任务看什么?

看步骤是否完整、顺序是否合理、有没有漏掉必要的前置条件。

常见问题是漏掉准备工作。比如让它整理数据并出报告,它直接开始写报告,没有先检查数据质量。

分支任务看什么?

看它能不能识别条件、能不能正确处理分支、分支之后能不能合流。

多数智能体在分支上会出问题:条件判断错了,或者两个分支的结果没有正确合并。

中途调整看什么?

看它能不能在任务进行到一半时接受新约束,并且不回退已完成的部分。

这项能力在实际使用中最重要,因为用户的需求经常变。

拆解的深度怎么把握?

太浅会漏步骤,太深会引入不必要的复杂度。合理的深度是每一步都能独立验证。

判断标准:如果某一步做完之后你无法判断它对不对,说明拆得不够细。

怎么改进拆解质量?

三个做法。第一,给拆解模板,明确要求输出步骤、依赖、验证方式。第二,要求它先输出计划再执行,让人有机会纠正。第三,建失败案例库,把拆错的案例沉淀成规则。

第二个最实用。先看计划再执行,能挡掉大部分方向性错误。

最后该记住什么?

任务拆解能力决定智能体的上限。拆解不行,模型再强也只能做些简单的事。

评估智能体,先评拆解,再评执行。顺序反了,会被表面效果误导。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论