验收标准写不准,项目就永远结不了。可量化不是把话说得硬,是把指标拆到能被第三方复现。以下六类指标可以直接套用。

第一类指标为什么是准确率?

要写三件事:测什么、在哪个集合上测、达到多少算通过。

比如工单分类,在双方封存的五百条历史工单上,主分类准确率不低于百分之九十,混淆矩阵中相邻类的误判率不超过百分之五。

不要写整体准确率,要写关键类别的准确率。整体达标但关键类崩掉,是常见情况。

第二类指标为什么是覆盖率?

指系统能处理多少比例的输入。

比如文档解析,支持的文件格式覆盖率不低于百分之九十五,无法处理时要明确报错而不是静默失败。

覆盖率和准确率要分开写。覆盖率高但准确率低,等于把错误放大。

第三类指标为什么是时延?

分档写。交互式请求,首字返回不超过两秒,完整回答不超过十秒。批量任务,单条处理不超过三十秒,整批不超过约定时长。

时延要在真实环境测,不能在测试环境测。测试环境的机器配置和网络,往往比生产好。

第四类指标为什么是稳定性?

三个数:可用率、故障恢复时间、错误率。

可用率按月统计,不低于百分之九十九。故障恢复时间,严重故障四小时内恢复。错误率,接口调用失败率不超过百分之一。

要写清统计口径。是按请求数算,还是按时间段算,差别很大。

第五类指标为什么是成本?

单位任务成本要写进验收。

比如单条处理成本不超过多少,月度总成本不超过多少。

成本指标能防止一种情况:功能都达标,但贵到用不起。

第六类指标为什么是可运维性?

四个检查项:日志是否完整、告警是否可用、配置是否可改、回滚是否可执行。

验收时实际演练一次故障恢复,看能不能在约定时间内恢复。演练通过比文档齐全更有说服力。

怎么写进合同?

每条指标配三样:定义、测量方法、判定阈值。

定义要无歧义,测量方法要可复现,判定阈值要有明确通过线。

再加一条:指标之间的优先级。全部达标才算通过,还是核心指标达标即可。这条不定,验收时会有争议。

可量化不是为了苛刻,是为了让双方对完成有共同语言。语言一致,合作才顺。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论