智能体项目的验收比传统软件项目难,因为输出不确定。同一句话问两次,答案可能不一样。用传统的功能清单验收,一定扯皮。

条款要针对这个特点设计。

为什么功能清单不管用?

因为智能体的行为是概率性的。你说它能回答订单查询,它八成能,两成答错。按功能清单验收,客户会说这不算能用。

正确的验收对象不是功能,是指标。在约定测试集上的准确率、拒答率、响应时间。

测试集怎么定?

三条原则:双方共同确认、交付前锁定、覆盖边界情况。

规模建议五十到两百条,来自真实场景。要包含正常问题、模糊问题、超出范围的问题。

锁定这件事必须写进合同。否则客户会在验收时临时加题,专门挑系统答不上来的问。

指标怎么定才合理?

准确率不用定到百分之百。按场景定,知识库问答通常定在七成到八成五之间,具体看问题难度。

拒答率要单独定。系统在不知道的时候应该拒答,而不是编。拒答率过低说明它在编,过高说明它太保守。

响应时间按场景定。交互式对话要求首响应在几秒内,后台批处理可以放宽。

部分验收怎么做?

建议分段验收。第一阶段验检索,看能不能找到正确段落。第二阶段验生成,看答案是否忠实于检索内容。第三阶段验端到端。

分段的好处是出问题时知道修哪。端到端不达标,可能是检索问题,也可能是生成问题,混在一起没法定位。

尾款怎么挂?

建议留一到两成作为稳定期尾款,交付后运行两到四周再结。这段时间用来观察真实流量下的表现。

稳定期的定义要写清:多长、什么算故障、故障怎么修、修不好怎么处理。

变更怎么处理?

智能体项目最常见的变更是加知识、加场景、改话术。每一样都影响指标,所以要单独计价。

合同里建议约定:每月免费包含多少次小变更,超出按次计费。小变更的定义要写清,比如不超过十份文档、不超过五条问答。

有什么条款容易被忽略?

数据归属。客户提供的文档、对话记录,归谁、能不能用于训练、交付后怎么处理,都要写。

还有模型依赖。如果项目依赖某个第三方模型接口,接口变更或涨价导致的问题,责任怎么分。

最该提醒的是什么?

智能体项目的合同,核心不是保护自己,是让双方对能做到什么有共同预期。

预期对齐了,验收就是走流程;预期没对齐,条款写得再细也会吵。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论