把AI接进代码评审流程,最难的决策不是用什么模型,是设多严的阈值。

太松,评审意见淹没在噪音里,开发者开始忽略。太严,每个提交都卡住,流程效率反而下降。

评审意见分几类?

按严重程度分四类。第一类是确定缺陷,空指针、越界、资源泄漏、逻辑反转。第二类是风险提示,并发问题、性能隐患、边界条件未处理。第三类是规范问题,命名、注释、格式。第四类是风格偏好,写法习惯、设计选择。

第一类必须报,报错了也要报,因为漏掉的代价高。第四类基本不该报,报了只会引发争论。

阈值该设在哪个位置?

建议设在第二类。即:确定缺陷全部报,风险提示选择性报,规范问题只在违反团队明文约定时报,风格偏好不报。

这个阈值的效果是:每个提交平均一到三条意见,开发者会认真看。

怎么控制误报?

三个手段。第一是给模型足够的上下文,不只是diff,还有被修改函数的完整定义、调用方、相关测试。只看diff的评审必然误报多。

第二是明确团队约定。把命名规范、异常处理方式、日志要求写成提示的一部分,模型按约定判断,而不是按通用习惯。

第三是要求给出理由和位置。每条意见必须说明为什么是问题、在哪一行、怎么改。说不清的不报。

怎么评估效果?

不要看意见数量,看采纳率。抽样一百条意见,人工判断哪些是真问题,采纳率低于五成说明阈值需要收紧或者上下文不足。

再看漏报率。用历史上有缺陷的提交做回归测试,看模型能不能检出。漏报率高说明阈值太松。

两个指标要一起看。只调一个方向,另一个会恶化。

该接在哪个环节?

三个位置各有优劣。提交时预检,反馈最快,但开发者还没想清楚,改动频繁。合并请求时评审,上下文完整,但反馈慢。合入后巡检,不影响流程,但发现问题晚。

建议主评审放在合并请求环节,同时在提交时做一个轻量预检,只报第一类确定缺陷。

有哪些坑?

第一个坑是让AI替代人评审。AI能覆盖常见缺陷,覆盖不了业务逻辑错误。业务正确性必须人看。

第二个坑是不给模型看测试。有测试的代码和没测试的代码,风险等级不同,模型需要知道这个信息。

第三个坑是意见不带优先级。一堆意见平铺,开发者不知道先改哪个。应该分级标注。

长期怎么维护?

建立意见台账,记录每条意见的类型、是否被采纳、开发者反馈。定期统计哪类误报最多,针对性调整提示或过滤规则。

每季度做一次回归,用固定的缺陷样本集测检出率。模型会更新,流程会变,基线要重测。

结论?

AI评审的价值在于稳定和不知疲倦,不在于比人聪明。设一个中等阈值,保证高采纳率,把它当成一个可靠的初筛,而不是最终裁判。这个定位清楚了,阈值自然就清楚了。

去论坛讨论

前往 ziyuanagi.com 论坛 参与讨论