验收标准写不准,项目就永远结不了。可量化不是把话说得硬,是把指标拆到能被第三方复现。以下六类指标可以直接套用。
第一类指标为什么是准确率?
要写三件事:测什么、在哪个集合上测、达到多少算通过。
比如工单分类,在双方封存的五百条历史工单上,主分类准确率不低于百分之九十,混淆矩阵中相邻类的误判率不超过百分之五。
不要写整体准确率,要写关键类别的准确率。整体达标但关键类崩掉,是常见情况。
第二类指标为什么是覆盖率?
指系统能处理多少比例的输入。
比如文档解析,支持的文件格式覆盖率不低于百分之九十五,无法处理时要明确报错而不是静默失败。
覆盖率和准确率要分开写。覆盖率高但准确率低,等于把错误放大。
第三类指标为什么是时延?
分档写。交互式请求,首字返回不超过两秒,完整回答不超过十秒。批量任务,单条处理不超过三十秒,整批不超过约定时长。
时延要在真实环境测,不能在测试环境测。测试环境的机器配置和网络,往往比生产好。
第四类指标为什么是稳定性?
三个数:可用率、故障恢复时间、错误率。
可用率按月统计,不低于百分之九十九。故障恢复时间,严重故障四小时内恢复。错误率,接口调用失败率不超过百分之一。
要写清统计口径。是按请求数算,还是按时间段算,差别很大。
第五类指标为什么是成本?
单位任务成本要写进验收。
比如单条处理成本不超过多少,月度总成本不超过多少。
成本指标能防止一种情况:功能都达标,但贵到用不起。
第六类指标为什么是可运维性?
四个检查项:日志是否完整、告警是否可用、配置是否可改、回滚是否可执行。
验收时实际演练一次故障恢复,看能不能在约定时间内恢复。演练通过比文档齐全更有说服力。
怎么写进合同?
每条指标配三样:定义、测量方法、判定阈值。
定义要无歧义,测量方法要可复现,判定阈值要有明确通过线。
再加一条:指标之间的优先级。全部达标才算通过,还是核心指标达标即可。这条不定,验收时会有争议。
可量化不是为了苛刻,是为了让双方对完成有共同语言。语言一致,合作才顺。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论