AI 项目的隐形成本黑洞：数据标注做到什么程度就够了？

一个做票据识别的客户，项目预算 40 万里有 32 万花在了标注上，模型效果依然不达标。复盘时发现，他们把 80 万张票据全部标了一遍，标注指南改了 11 版，前后数据标准不一致，前面标的 30 万张基本报废。

标注是 AI 项目里最像「土建工程」的环节：看不见，但一旦出错就是结构性问题。这篇文章讲三件事——标多少、怎么标、怎么验。

一、标多少才够：三条停止标准

大多数人凭感觉定标注量，结果是「标一点、训一版、看看效果、再标一点」，反复烧钱。我们用的三条停止标准更清晰：

标准一：学习曲线平台期

按 10%、25%、50%、100% 的标注量分别训练，画学习曲线。当数据量翻倍时，验证集指标提升不足 2 个百分点，就进入平台期了，继续标下去的边际收益很低。

实践中，一个中等难度的分类任务（比如 20 类工单分类）通常在 每类 300-800 条 时开始平台。很多人标了 5000 条，效果和第二千条时差不多。

标准二：误差来源已从数据转到别处

如果错误分析显示，剩余的错误中超过 60% 是「标注指南本身没覆盖的情况」而不是「数据不够」，那再标也没用——你需要改的是任务定义。

标准三：业务指标已达标

别追求模型 F1，追求业务指标。客服工单分类模型 F1 从 0.86 提到 0.89，如果业务上都是「人工复核一遍」，那 0.03 毫无价值。先问业务方：多少准确率就够了？ 这个问题经常能把预算砍掉一半。

二、标注指南怎么写才不失控

指南是标注质量的源头。我们踩过的坑和对应的做法：

坑一：从零开始写。正确做法是先标 200 条「探路集」，让 3 个人各自标，然后集体讨论分歧点。分歧点就是指南里必须写清楚的地方。指南是从分歧里长出来的，不是凭空写出来的。

坑二：写成了哲学论文。100 页的指南没人读完。控制在 15 页内，用「正例 / 反例 / 边界例」三栏表格呈现，比大段定义有效得多。

坑三：只写「是什么」不写「怎么做」。比如「判断情感极性」不够，要写「遇到『还行吧』这种中性偏负的表达，标为中性」这类具体裁决。

坑四：改版不追溯。指南每改一次，前面标注的数据就可能和新标准冲突。必须记录版本号，并规定：指南变更超过 3 处，就要用新版重标 5% 的旧数据，测量一致性漂移。

三、一致性怎么量化

多人标注必然有分歧，关键是量化并处理，而不是假设它是噪声。

Kappa 系数是最常用的指标。经验阈值：

Kappa	一致性	处理
> 0.8	很高	可以使用，抽样复核
0.6-0.8	中等	可用，但需要复核分歧样本
0.4-0.6	偏低	指南有问题，先改指南
< 0.4	差	任务定义不清，暂停标注

一个常被忽略的细节：Kappa 对类别不平衡很敏感。如果 95% 的样本都是「正常」，一个全标「正常」的人也能拿到高 Kappa。这时要用 Per-class Kappa 或者 F1 折中指标。

另一个实用做法：定期插入金标数据。在待标任务里混入 5% 的已知答案样本，实时监控标注员准确率。低于 85% 的立即复盘。

四、主动学习：省钱的正确姿势

标注 1000 条随机样本，价值远不如标注 1000 条模型最不确定的样本。

流程很简单：

1. 用 500 条种子数据训一个初步模型
2. 对剩余的 5 万条未标注数据跑推理，输出预测概率
3. 挑出最不确定的 1000 条（二分类时概率在 0.4-0.6 之间，多分类时取 top-k 预测概率接近）交给人工
4. 加上种子数据重训，重复

我们在一个图像分类项目上实测：主动学习达到同样的 F1，标注量减少了 62%。代价是需要多跑几轮推理，但推理成本远低于标注成本。

有个技巧能进一步提升：不确定性 + 多样性 混合采样。纯按不确定性挑，容易挑到一堆长得差不多的难例；加入聚类后的多样性选择，覆盖的面更广。

五、标注团队的三个管理要点

不要外包给不懂业务的人。医疗、法律、金融类的标注，外包标注员的 Kappa 往往只有 0.4 左右，看起来便宜实际更贵。

标注和反馈要闭环。让标注员看到自己标的样本在模型里是怎么被误判的，改进速度会快很多。

留一条人工复核通道。永久保留 5%-10% 的抽样人工复核，模型上线后新出现的边缘情况，靠这条通道持续暴露。

六、总结

标注项目的三个数字，最好在上线前就想清楚：

• 我需要多少条才够（学习曲线平台期）
• 业务接受的准确率是多少（别用过高的技术指标）
• 每一元的标注投入，对应的模型收益是多少

绝大多数 AI 项目的标注预算都可以砍掉一半，只要把「随机全标」换成「主动学习 + 严格指南 + 一致性监控」。剩下的钱，够你把模型跑上一年。