把一次性的提示词调成一条产线:Prompt 评测集的搭建方法
90% 的团队在用「感觉」验提示词。讲清楚怎么用 3 小时搭起一份 80 条的评测集,怎么做自动打分、怎么对比两个版本、什么时候该上人工审核。
改了一版提示词,跑几个例子,「好像变好了」,上线。三天后用户反馈「最近答得乱七八糟」,回头查——不知道是哪次改动引入的。
这是绝大多数团队的提示词工作方式。问题不在于改得不对,在于没有回归测试。
评测集怎么建
不要一上来就想做个完美的评测框架。最小可用版本,3 小时能搭完:
第一步:收集真实输入(1 小时)
从线上日志里抽 60–100 条真实用户输入。不要自己编,编出来的输入分布和真实场景差太远。抽的时候注意覆盖:
- 高频典型问题(占 60%)
- 边界情况:空输入、超长输入、多语言混杂(占 25%)
- 已知的历史失败案例(占 15%)
第二步:标注期望(1.5 小时)
每条给一个「判定标准」,不一定非要写标准答案。判定标准分三类:
- 精确匹配型:分类、抽取类任务,能直接对答案;
- 关键点覆盖型:列出必须提到的 3–5 个要点;
- 评分标准型:写清扣分项(如「出现幻觉扣 5 分」)。
第三步:写个跑批脚本(0.5 小时)
循环调 API、存结果、算分。不到 100 行代码,但从此每次改提示词都能一键跑。
自动打分怎么做
三种方式,按可靠性排序:
- 规则校验(最可靠):格式对不对、JSON 能不能解析、必含字段在不在。这类能覆盖 40% 的问题,且零成本。
- 模型打分(够用):用强模型按评分标准打分。注意三点——给评分标准要具体、给出打分示例、不要让同一个模型自评自。
- 人工审核(最贵):只用于争议样本和高风险场景。
一个实用比例:规则校验跑全量,模型打分跑全量,人工只看模型打分在临界区(如 3–4 分)的样本。
怎么对比两个版本
跑完两版,看三个数:
- 总分变化:整体涨了还是跌了;
- 逐条回归:哪些从「对」变「错」了。这比总分重要得多——总分涨 2 分但有 5 条从对变错,说明改动引入了新问题;
- 稳定性:同一版本跑三次,结果方差多大。方差大的改动不能上。
第二条尤其容易忽略。我见过不少「整体提升」的版本,实际上是牺牲了一类高频场景换来的。
什么时候必须上人工
- 输出会直接影响钱或合规(报价、合同、医疗建议);
- 新版本在有争议的样本上分歧大;
- 评测集本身覆盖不足的新场景。
三个常见错误
评测集里全是你想到的场景。 结果就是线上遇到的都没覆盖。必须以真实日志为主。
评测集建好就不动了。 线上出现新的失败案例,第一时间加进评测集。一份好的评测集是活的。
用模型给自己打分,还只看平均分。 平均分会掩盖长尾崩溃。一定要看逐条。
收益在哪
搭一次评测集,后面每次改提示词的成本从「半天人工抽查」降到「5 分钟跑批」。更重要的变化是:你敢改了。没有评测之前,改动是赌博;有了评测之后,改动是工程。
这才是把提示词从「调参玄学」变成「产线」的关键一步。