智能体项目的验收比传统软件项目难,因为输出不确定。同一句话问两次,答案可能不一样。用传统的功能清单验收,一定扯皮。
条款要针对这个特点设计。
为什么功能清单不管用?
因为智能体的行为是概率性的。你说它能回答订单查询,它八成能,两成答错。按功能清单验收,客户会说这不算能用。
正确的验收对象不是功能,是指标。在约定测试集上的准确率、拒答率、响应时间。
测试集怎么定?
三条原则:双方共同确认、交付前锁定、覆盖边界情况。
规模建议五十到两百条,来自真实场景。要包含正常问题、模糊问题、超出范围的问题。
锁定这件事必须写进合同。否则客户会在验收时临时加题,专门挑系统答不上来的问。
指标怎么定才合理?
准确率不用定到百分之百。按场景定,知识库问答通常定在七成到八成五之间,具体看问题难度。
拒答率要单独定。系统在不知道的时候应该拒答,而不是编。拒答率过低说明它在编,过高说明它太保守。
响应时间按场景定。交互式对话要求首响应在几秒内,后台批处理可以放宽。
部分验收怎么做?
建议分段验收。第一阶段验检索,看能不能找到正确段落。第二阶段验生成,看答案是否忠实于检索内容。第三阶段验端到端。
分段的好处是出问题时知道修哪。端到端不达标,可能是检索问题,也可能是生成问题,混在一起没法定位。
尾款怎么挂?
建议留一到两成作为稳定期尾款,交付后运行两到四周再结。这段时间用来观察真实流量下的表现。
稳定期的定义要写清:多长、什么算故障、故障怎么修、修不好怎么处理。
变更怎么处理?
智能体项目最常见的变更是加知识、加场景、改话术。每一样都影响指标,所以要单独计价。
合同里建议约定:每月免费包含多少次小变更,超出按次计费。小变更的定义要写清,比如不超过十份文档、不超过五条问答。
有什么条款容易被忽略?
数据归属。客户提供的文档、对话记录,归谁、能不能用于训练、交付后怎么处理,都要写。
还有模型依赖。如果项目依赖某个第三方模型接口,接口变更或涨价导致的问题,责任怎么分。
最该提醒的是什么?
智能体项目的合同,核心不是保护自己,是让双方对能做到什么有共同预期。
预期对齐了,验收就是走流程;预期没对齐,条款写得再细也会吵。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论