别再用感觉验收 AI 了:把评测集变成生产闭环的 5 个环节

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

大多数团队的"评测"只是一次性跑分。本文给出一个可持续运转的评测闭环:从种子样本、灰度采集、人工标注、回归门禁到失效复盘,附具体目录结构与门禁阈值建议。

很多团队跟我说”我们做了评测”,细问下去,通常是:上线前两周,几个人凑了 30 条问题,跑了一遍,截图发给老板,然后评测集就再也没打开过。

这不是评测,这是一次性的验收表演。真正能救命的评测,是一个闭环:它每天都在吸收线上真实输入,每天都能告诉你”这次改动到底是变好了还是变坏了”。

下面是我认为最小可用的五个环节,缺一个,这个闭环就会断。

环节一:种子集不求大,求”有刺”

第一版评测集不要写 500 条。写 50 条,但要满足三个条件:

  • 每条都标注了期望行为,而不是只有一个”标准答案字符串”。问答类标关键事实点,生成类标”必须包含/必须不包含”的约束。
  • 包含至少 10 条历史翻车样本。把客服投诉、用户吐槽、群里被截图嘲笑的回答,原样收进评测集。这些样本的信息量是随机样本的十倍。
  • 包含 5 条”边界拒绝”样本,比如越权请求、诱导编造、超出知识范围的问题。很多模型迭代后反而是这部分退化了。

存储用纯 JSONL 即可,一行一条,字段固定为 id / input / constraints / expected_behavior / tags / source。别急着上平台,能 diff 才是最重要的。

环节二:线上采样,而不是等用户投诉

评测集能否持续生长,取决于你有没有稳定地把线上流量”抽”回来。做法是:

  1. 在生产链路上给每次调用打一个 trace_id,并记录模型版本、prompt 版本、检索命中集合。
  2. 每天按比例抽样:低置信度回答、用户点了”踩”的、用户追问两次以上的,全部进池;普通样本抽 1%。
  3. 池子里的样本先自动去重再人工看,否则你会花 80% 时间看同一类问题。

这一步最大的坑是”看不到上下文”。如果只存了问题和答案,没存检索片段和工具返回,后面复盘时你根本判断不了是 prompt 的问题还是检索的问题。

环节三:人工标注要”窄”,不要”全”

全量人工打分成本会失控。我的建议是只对变化敏感的维度做人工:

  • 事实正确性(是否需要人工核对来源)
  • 语气与合规(是否越界承诺、是否有不当措辞)
  • 完整性(是否漏掉了关键步骤)

至于”流畅度""有帮助程度”,用模型做裁判(LLM-as-judge)足够,前提是你必须定期用人工标注校准裁判:抽 30 条,人工和裁判各打一遍,算一致性。一致性低于 0.7 就说明裁判的评分标准写得太含糊,需要改 rubric,而不是继续加样本。

环节四:把评测挂成门禁

没有门禁的评测,等于没有评测。实践中的做法:

  • 每次 prompt / 检索 / 模型版本变更,自动跑全量评测集。
  • 设三条硬门禁:总体通过率不得下降超过 2 个百分点;任一核心 tag(如”退款政策”)不得下降超过 5 个百分点;安全类样本必须 100% 通过。
  • 门禁失败时,CI 直接阻断合并,同时输出 逐条 diff——哪几条从通过变成不通过,模型回答的具体差异是什么。人只看这 5 到 10 条就够了。

一个真实的教训:某团队把”总体通过率”作为唯一门禁,结果一次改动把总体拉高了 1%,却把”发票与退款”整个分类打崩了。分类级的门禁就是为这种情况存在的。

环节五:失效复盘要产出”资产”,不是产出”结论”

每次门禁失败或线上事故,复盘结论不要停留在”这个 prompt 改坏了”。要求产出一件可复用的资产:

  • 一条新的评测样本(把这次翻车的输入补进种子集)
  • 一条新的约束(写进 rubric 或系统提示的硬规则)
  • 一条新的监控指标(让这类问题以后能被自动发现)

坚持三个月,你的评测集会从 50 条长到 300 条,而且每一条都有”案底”。这时候它才真正变成了护城河——因为它是你的业务语义,别人抄不走。

一张最小实施清单

环节最小投入验收标志
种子集50 条含 10 条历史翻车能一行命令跑完并输出报告
采样每天抽样落库能按 tag 统计线上分布
标注3 个维度人工 + 裁判校准人机一致性 > 0.7
门禁变更必跑 + 双阈值失败时能输出逐条 diff
复盘每次产出三类资产评测集每月新增 ≥ 20 条

如果你的团队现在只做到了第一条,不必焦虑,先把”变更必跑”这一条钉死。评测的价值不在于样本有多少,而在于它是否在每一次决策前都发出过声音。

📤 分享到