别再用感觉验收 AI 了:把评测集变成生产闭环的 5 个环节
大多数团队的"评测"只是一次性跑分。本文给出一个可持续运转的评测闭环:从种子样本、灰度采集、人工标注、回归门禁到失效复盘,附具体目录结构与门禁阈值建议。
很多团队跟我说”我们做了评测”,细问下去,通常是:上线前两周,几个人凑了 30 条问题,跑了一遍,截图发给老板,然后评测集就再也没打开过。
这不是评测,这是一次性的验收表演。真正能救命的评测,是一个闭环:它每天都在吸收线上真实输入,每天都能告诉你”这次改动到底是变好了还是变坏了”。
下面是我认为最小可用的五个环节,缺一个,这个闭环就会断。
环节一:种子集不求大,求”有刺”
第一版评测集不要写 500 条。写 50 条,但要满足三个条件:
- 每条都标注了期望行为,而不是只有一个”标准答案字符串”。问答类标关键事实点,生成类标”必须包含/必须不包含”的约束。
- 包含至少 10 条历史翻车样本。把客服投诉、用户吐槽、群里被截图嘲笑的回答,原样收进评测集。这些样本的信息量是随机样本的十倍。
- 包含 5 条”边界拒绝”样本,比如越权请求、诱导编造、超出知识范围的问题。很多模型迭代后反而是这部分退化了。
存储用纯 JSONL 即可,一行一条,字段固定为 id / input / constraints / expected_behavior / tags / source。别急着上平台,能 diff 才是最重要的。
环节二:线上采样,而不是等用户投诉
评测集能否持续生长,取决于你有没有稳定地把线上流量”抽”回来。做法是:
- 在生产链路上给每次调用打一个
trace_id,并记录模型版本、prompt 版本、检索命中集合。 - 每天按比例抽样:低置信度回答、用户点了”踩”的、用户追问两次以上的,全部进池;普通样本抽 1%。
- 池子里的样本先自动去重再人工看,否则你会花 80% 时间看同一类问题。
这一步最大的坑是”看不到上下文”。如果只存了问题和答案,没存检索片段和工具返回,后面复盘时你根本判断不了是 prompt 的问题还是检索的问题。
环节三:人工标注要”窄”,不要”全”
全量人工打分成本会失控。我的建议是只对变化敏感的维度做人工:
- 事实正确性(是否需要人工核对来源)
- 语气与合规(是否越界承诺、是否有不当措辞)
- 完整性(是否漏掉了关键步骤)
至于”流畅度""有帮助程度”,用模型做裁判(LLM-as-judge)足够,前提是你必须定期用人工标注校准裁判:抽 30 条,人工和裁判各打一遍,算一致性。一致性低于 0.7 就说明裁判的评分标准写得太含糊,需要改 rubric,而不是继续加样本。
环节四:把评测挂成门禁
没有门禁的评测,等于没有评测。实践中的做法:
- 每次 prompt / 检索 / 模型版本变更,自动跑全量评测集。
- 设三条硬门禁:总体通过率不得下降超过 2 个百分点;任一核心 tag(如”退款政策”)不得下降超过 5 个百分点;安全类样本必须 100% 通过。
- 门禁失败时,CI 直接阻断合并,同时输出 逐条 diff——哪几条从通过变成不通过,模型回答的具体差异是什么。人只看这 5 到 10 条就够了。
一个真实的教训:某团队把”总体通过率”作为唯一门禁,结果一次改动把总体拉高了 1%,却把”发票与退款”整个分类打崩了。分类级的门禁就是为这种情况存在的。
环节五:失效复盘要产出”资产”,不是产出”结论”
每次门禁失败或线上事故,复盘结论不要停留在”这个 prompt 改坏了”。要求产出一件可复用的资产:
- 一条新的评测样本(把这次翻车的输入补进种子集)
- 一条新的约束(写进 rubric 或系统提示的硬规则)
- 一条新的监控指标(让这类问题以后能被自动发现)
坚持三个月,你的评测集会从 50 条长到 300 条,而且每一条都有”案底”。这时候它才真正变成了护城河——因为它是你的业务语义,别人抄不走。
一张最小实施清单
| 环节 | 最小投入 | 验收标志 |
|---|---|---|
| 种子集 | 50 条含 10 条历史翻车 | 能一行命令跑完并输出报告 |
| 采样 | 每天抽样落库 | 能按 tag 统计线上分布 |
| 标注 | 3 个维度人工 + 裁判校准 | 人机一致性 > 0.7 |
| 门禁 | 变更必跑 + 双阈值 | 失败时能输出逐条 diff |
| 复盘 | 每次产出三类资产 | 评测集每月新增 ≥ 20 条 |
如果你的团队现在只做到了第一条,不必焦虑,先把”变更必跑”这一条钉死。评测的价值不在于样本有多少,而在于它是否在每一次决策前都发出过声音。