AI代码审查实测:它到底能抓住什么、漏掉什么(含七类问题检出率)
用一个真实代码库做了对照实验:同一批 PR 分别由AI和资深工程师审查。结果显示AI在模式化问题上有奇效,在架构与业务语义上几乎失明。
实验怎么做的
围绕”AI 能不能做 code review”的讨论,大多停留在个人感受。这次我用一个更笨但更可靠的办法:对照实验。
样本:一个中等规模的 Go 后端项目(约 4 万行),从历史记录里取 40 个已合并的 PR,涵盖新功能、bug 修复、重构、小改动四种类型。
方法:每个 PR 的 diff 分别交给两组评审:
- A 组:AI 审查工具,使用统一提示词,分三次不同运行取并集(降低随机性)
- B 组:两位有 5 年以上经验的工程师,盲审(不知道 AI 的结论)
评判:把两个组提出的所有意见汇总去重,交给第三位独立工程师判定”是否成立”。然后计算各组在每个类别上的检出率(该类别中被称为”成立”的问题被发现的百分比)和误报率(提出但不成立的比例)。
七类问题的检出率
| 问题类型 | AI 检出率 | 人工检出率 | AI 误报率 |
|---|---|---|---|
| 空值/边界处理 | 88% | 62% | 12% |
| 资源泄漏(连接、文件、锁) | 82% | 55% | 15% |
| 错误吞掉(catch 后不处理) | 91% | 48% | 8% |
| 并发安全 | 64% | 78% | 35% |
| 测试覆盖缺口 | 76% | 41% | 20% |
| 架构/设计一致性 | 28% | 74% | 45% |
| 业务语义错误 | 11% | 81% | 62% |
这张表是全文最有信息量的东西。逐行读。
AI 明显强于人的三类
错误吞掉:91% vs 48%
这是 AI 最强的场景,远超预期。
人工审查的低检出率原因是注意力经济学:一个 PR 里 if err != nil { return nil } 这种行看起来太平常了,眼睛会自动划过去。而 AI 不知道什么叫”平常”,它逐行检查语义。
实际发现的问题包括:catch 里只打日志没有向上抛、错误被包装后丢失原始信息、异步任务的错误没人接。这些在人工 review 里确实最容易漏。
结论:这一项立刻可交给 AI,而且应该强制。
空值/边界:88% vs 62%
AI 的模式识别在这里非常有效:字段解引用前有没有判空、数组索引前有没有长度检查、数字除零、字符串切片越界。
它甚至在有些地方发现了人工漏掉的:time.Parse 的 error 被忽略导致零值时间参与业务计算。
但要提防误报:12% 的误报主要来自”AI 认为会空,但实际上上游保证了非空”。解决办法是给 AI 项目约定:在审查提示词里写明”本项目在 handler 层已做参数校验,service 层参数非空由上游保证”。加上这条之后误报率从 12% 降到 6%。
资源泄漏:82% vs 55%
defer 缺失、rows.Close() 没调、在循环里开连接、锁没释放。AI 表现稳定,几乎是把这类问题一网打尽。
这一项的价值很高,因为这类 bug 在测试环境几乎不暴露,在生产环境半夜暴露。
AI 明显弱于人的两类
并发安全:64% vs 78%,且误报 35%
这是 AI 表现最矛盾的一项。它能发现”共享 map 没有加锁”这种教科书模式,但对真正的竞态条件——需要理解业务不变量才能发现的——识别率低。
误报率高达 35%,原因很清楚:AI 看到 sync.Mutex 就问”是不是该用 RWMutex”,看到 channel 就问”是不是会死锁”。它倾向于提出理论上的并发问题,而不是实际存在的。
结论:AI 在这项上是”噪音源”。要么在提示词里严格限制,要么人工兜底。
业务语义错误:11% vs 81%
这是分水岭。AI 几乎完全失明。
什么样的错误属于这一类?
- 优惠券叠加规则被改对了顺序,但业务上应该先算折扣再算运费
- 状态机迁移少了一个合法分支,代码本身没错,但业务流程会卡住
- 分页的
total返回了当前页数量而不是总数 - 金额计算用了浮点,虽然都能跑,但财务对账会对不上
这些问题的共同点是:代码正确性无法通过阅读代码本身判断,必须知道业务规则。
这说明 AI 代码审查的天花板不在模型能力,而在上下文。给它业务规则文档、给它相关代码的历史、给它测试用例,它会好一点——但永远达不到”知道这个系统为什么这样设计”的工程师。
一个反直觉的发现
AI 和人工审查的重叠度只有约 34%。
也就是说,AI 发现的问题里三分之二是人没发现的,人发现的问题里也是三分之二是 AI 没发现的。这个数字比”谁更强”更重要——它意味着二者是互补而不是替代关系。
真正有效的组合是:
代码提交
→ AI 自动审查(拦截模式化问题:空值、错误处理、资源泄漏、格式)
→ 人工审查(聚焦:架构选择、业务语义、并发设计、可维护性)
AI 先跑,把”低级但繁琐”的问题清干净,人工 review 时就不必在不值得讨论的地方消耗注意力。这本身就是巨大的收益。
落地的四个实践建议
1. 在提示词里写明项目约定。 这一条对误报率的影响最大。把”本项目的错误处理约定""参数校验在哪一层""日志规范”写进审查提示词,误报能降 40–50%。
2. 分级输出,不要平铺。 让 AI 把问题分成”必须改(bug/安全)”、“建议改(可维护性)”、“可选(风格)“。不做分级的 AI 审查会把真正的问题埋在一堆风格建议里,最终没人看。
3. 强制要求给出可验证的依据。 要求 AI 指出”具体哪一行、什么输入会触发、期望行为是什么”。没有依据的意见一律忽略。这一条能过滤掉大部分幻觉。
4. 保留人工的”最后一道”。 特别是涉及钱、权限、数据删除的代码。AI 在业务语义上的 11% 检出率,意味着它在这类代码上几乎没有防线。
结语
AI 代码审查不是”替代资深工程师”,它是把资深工程师从繁琐的机械检查里解放出来。
数据说得很清楚:在”错误处理、空值、资源管理”这些机械但容易疲劳的维度上,AI 比人更可靠;在”架构、业务语义、并发设计”这些需要经验和上下文的维度上,AI 基本帮不上忙。
最差的做法是二选一。最好的做法是明确分工:AI 管规则,人管判断。