用AI生成测试用例,第一版往往让人惊喜,第二版开始发现问题:用例数量很多,覆盖率提升有限。
原因是用例生成的逻辑偏了。模型倾向于生成看起来合理的用例,而不是能暴露缺陷的用例。
为什么用例多但覆盖低?
三个原因。第一是重复,同一类边界条件被反复生成,只是输入值不同。第二是浅层,只测正常路径,不测异常路径。第三是脱离实现,模型不知道代码内部的判断分支,生成的用例碰不到关键逻辑。
覆盖率是分支覆盖和路径覆盖的度量,不是用例数量的度量。
怎么让AI生成有效用例?
四个做法。第一,给它代码而不是只给需求。有代码才能看到分支和边界。第二,要求它先列出分支清单,再为每个分支生成用例。第三,要求它标注每个用例对应哪个分支,便于检查覆盖。第四,明确要求异常路径的用例,包括空值、越界、类型错误、并发冲突。
第三个做法最关键。有映射关系,才能算出覆盖率。
覆盖率怎么测?
两步。先用工具跑一遍,得到实际覆盖率报告。再把报告和模型标注的预期覆盖对比,找出没被覆盖的分支。
没覆盖的分支有两类:模型没想到的,和想到了但用例写得跑不到的。前者补用例,后者改用例。
异常路径怎么系统化生成?
按清单枚举。输入维度:空、单值、极值、超长、特殊字符、类型不匹配。状态维度:初始态、中间态、终态、异常态。时序维度:顺序、乱序、重复、并发。
把这三个维度交叉,能得到一个相对完整的异常用例矩阵。模型负责填充具体值,人负责确认维度覆盖。
怎么评估生成质量?
三个指标。分支覆盖率、缺陷检出数、用例可维护性。
前两个好测。第三个看用例是否依赖具体实现细节,如果实现一改用例全废,说明用例写得过细。
理想状态是用例测行为不测实现。模型容易写成测实现,需要在提示里明确要求。
有哪些坑?
第一个坑是不给上下文。只给函数签名,模型只能猜行为,生成的用例大概率无意义。
第二个坑是不做去重。模型会生成大量语义重复的用例,浪费执行时间。
第三个坑是忽略测试数据准备。用例写得好,但前置数据构造复杂,实际跑不起来。
第四个坑是不维护。生成的用例进仓库后没人管,实现变了用例失效,最后整个测试套件被禁用。
落地建议?
先选一个模块试点,不要全项目铺开。选分支多、逻辑复杂、历史缺陷多的模块,收益最明显。
跑两周,统计覆盖率提升和缺陷检出。两个指标都有改善,再推广。只有一个改善,说明方法有问题,需要调整。
结论?
AI生成用例的价值在于覆盖广度,不在于替代人设计测试策略。
测试策略(测什么、优先级、验收标准)仍然要人定。模型负责把策略展开成具体用例,并标注覆盖关系。
这个分工清楚了,覆盖率才提得上去。否则只是把手工写用例的时间,换成了人工审核用例的时间。
去论坛讨论
前往 ziyuanagi.com 论坛 参与讨论