把一次性的提示词调成一条产线:Prompt 评测集的搭建方法

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

90% 的团队在用「感觉」验提示词。讲清楚怎么用 3 小时搭起一份 80 条的评测集,怎么做自动打分、怎么对比两个版本、什么时候该上人工审核。

改了一版提示词,跑几个例子,「好像变好了」,上线。三天后用户反馈「最近答得乱七八糟」,回头查——不知道是哪次改动引入的。

这是绝大多数团队的提示词工作方式。问题不在于改得不对,在于没有回归测试。

评测集怎么建

不要一上来就想做个完美的评测框架。最小可用版本,3 小时能搭完:

第一步:收集真实输入(1 小时)

从线上日志里抽 60–100 条真实用户输入。不要自己编,编出来的输入分布和真实场景差太远。抽的时候注意覆盖:

  • 高频典型问题(占 60%)
  • 边界情况:空输入、超长输入、多语言混杂(占 25%)
  • 已知的历史失败案例(占 15%)

第二步:标注期望(1.5 小时)

每条给一个「判定标准」,不一定非要写标准答案。判定标准分三类:

  • 精确匹配型:分类、抽取类任务,能直接对答案;
  • 关键点覆盖型:列出必须提到的 3–5 个要点;
  • 评分标准型:写清扣分项(如「出现幻觉扣 5 分」)。

第三步:写个跑批脚本(0.5 小时)

循环调 API、存结果、算分。不到 100 行代码,但从此每次改提示词都能一键跑。

自动打分怎么做

三种方式,按可靠性排序:

  1. 规则校验(最可靠):格式对不对、JSON 能不能解析、必含字段在不在。这类能覆盖 40% 的问题,且零成本。
  2. 模型打分(够用):用强模型按评分标准打分。注意三点——给评分标准要具体、给出打分示例、不要让同一个模型自评自。
  3. 人工审核(最贵):只用于争议样本和高风险场景。

一个实用比例:规则校验跑全量,模型打分跑全量,人工只看模型打分在临界区(如 3–4 分)的样本。

怎么对比两个版本

跑完两版,看三个数:

  • 总分变化:整体涨了还是跌了;
  • 逐条回归:哪些从「对」变「错」了。这比总分重要得多——总分涨 2 分但有 5 条从对变错,说明改动引入了新问题;
  • 稳定性:同一版本跑三次,结果方差多大。方差大的改动不能上。

第二条尤其容易忽略。我见过不少「整体提升」的版本,实际上是牺牲了一类高频场景换来的。

什么时候必须上人工

  • 输出会直接影响钱或合规(报价、合同、医疗建议);
  • 新版本在有争议的样本上分歧大;
  • 评测集本身覆盖不足的新场景。

三个常见错误

评测集里全是你想到的场景。 结果就是线上遇到的都没覆盖。必须以真实日志为主。

评测集建好就不动了。 线上出现新的失败案例,第一时间加进评测集。一份好的评测集是活的。

用模型给自己打分,还只看平均分。 平均分会掩盖长尾崩溃。一定要看逐条。

收益在哪

搭一次评测集,后面每次改提示词的成本从「半天人工抽查」降到「5 分钟跑批」。更重要的变化是:你敢改了。没有评测之前,改动是赌博;有了评测之后,改动是工程。

这才是把提示词从「调参玄学」变成「产线」的关键一步。

📤 分享到