AI 编程工具推了三个月,ROI 说不清?因为你在量错东西
用生成代码行数和提交次数衡量 AI 编程收益,几乎必然得出乐观结论。本文给出四个更可信的观测点、一套周度记录模板,以及如何识别「看起来变快实则变慢」的补偿性加班。
给团队上了 AI 编程工具,三个月后老板问 ROI,多数负责人只能给出「大家反馈挺好」和一张使用率上升的图。问题出在度量:代码行数和提交次数是 AI 时代最失真的两个指标,它们随使用量上升,却不代表交付变好。
一、为什么行数指标必然骗人
AI 生成代码的特点是写得快、写得长、删得少,结果是净增行数、审查负担和维护面同步上升。有团队用 AI 后代码量涨 40%,缺陷密度没降、重构次数翻倍,这其实是负收益。证据也在 PR 结构:使用率高的团队,单个 PR 变更更大、评审评论更多、合并更慢。
二、四个更可信的观测点
交付周期(中位数,不看平均):从开始写算到上线的中位天数。平均值会被长尾拖偏,中位数才反映常态。
缺陷回流率:上线后 14 天内因该需求产生缺陷的比例。AI 若只是把返工从编码挪到修复,这里会明显恶化。
评审往返轮次:每个 PR 平均几轮 review 才通过。AI 代码的典型问题是「看起来对但不懂上下文」,评审轮次是最灵敏的探针。
团队等待时间:等 CI、等评审、等联调。AI 加速了编码,但瓶颈在评审和测试时,整体交期不会变——这是「投入没回报」最常见的原因。
三、识别补偿性加班
一个隐蔽陷阱:AI 让写代码变轻松,团队于是接了更多需求,总量和人均压力上升,而单件周期看起来变好,三个月后出现疲惫和离职。识别方法:同时跟踪人均并行任务数与单件周期。如果单件周期下降、并行任务数上升超过同比例,说明收益被需求扩容吃掉了。这不是坏事,但要在资源规划里承认,否则会持续超配。
四、一套周度记录
一张表加每周十分钟:
| 项 | 取值方式 |
|---|---|
| 完成需求数 / 周期中位数 | 开始→上线天数 |
| PR 数 / 变更行数中位数 | 代码平台导出 |
| 评审轮次中位数 | 同上 |
| 缺陷回流数 | 上线后 14 天 |
| 工具成本 | 订阅 + API 账单 |
| 人均并行任务 | 在制任务 / 人数 |
连续 8 周才看得出趋势而非噪声,这时才能回答 ROI。
五、成本别漏算
至少包括四块:订阅费、API 超额、评审增加的人力时间、CI 运行时长增加。后两项常被忽略,但在中小团队里可能超过订阅费本身。粗略换算:评审每多一轮约等于一位高级工程师 20~40 分钟;每周 100 个 PR 多一轮,就是 30 多小时。
六、什么情况下 ROI 是正的
收益较明显的情况:有较完整的测试覆盖(这是前提,没有测试则风险无法验证);模块边界清晰;需求颗粒度小、验收标准明确;有 lint 强约束。反之,遗留系统、架构混乱、需求模糊的项目,AI 让问题更早暴露也更难收拾。
结语
AI 编程的收益是真的,但它不均匀:集中在边界清晰、可验证的工作上。度量 ROI 的意义不只在汇报,更在于找出哪里用是加分、哪里用是添乱。一套诚实的指标,比一次漂亮的汇报更有长期价值。