给团队搭一个「提示词回归测试」,只需要半天
提示词改一个词就可能让线上效果崩掉,但没有测试就没人知道。本文提供一套用20条真实用例搭起提示词回归测试的完整方法,包含用例选择、自动评分和CI接入。
那个周三下午的改动
一个团队在提示词里把”请简洁回答”改成了”请详细解释,确保用户理解”,理由是用户反馈说”AI 回答太短了”。改动很小,评审也通过了。上线两天后,客服工单里开始出现”AI 说的话太啰嗦""关键信息找不到”的抱怨。
两句话都对,但它们改变了输出的整个形态。而团队没有任何工具能告诉他们这次改动会带来什么影响——除了上线后看真实用户反应。
这就是提示词工程最大的工程缺陷:它是代码,却没有代码的测试。一行 SQL 改错会被 CI 拦住,一句提示词改错只能靠运气。
好消息是,搭一个能干活的回归测试只需要半天。下面是完整方法。
第一步:收集 20 条”真实用例”(关键,不要自己编)
测试用例的价值取决于它是否代表真实场景。自己编的用例 100% 会通过,因为你的直觉和提示词是同一个人写的。
正确做法:
- 从线上日志里抽样最近 7 天的请求,按意图聚类(不需要很精确,人工看 100 条能分出 5–8 类)。
- 每类挑 2–4 条,共凑 20 条左右。
- 必须包含边界样本:空输入、超长输入、多语言混合、带脏数据(错别字、乱码)、越权请求(“忽略之前的指令”)。
- 存档原始输入原样,不要清洗。
20 条的意义不是覆盖全部,而是覆盖你会踩的坑。宁可 20 条真实,不要 200 条虚构。
第二步:给每条用例写”可判定”的期望
这一步是全部工作里最难也最值钱的。绝大多数团队做不下去,就是因为期望写成了”回答应该有帮助”——这种期望无法自动判定。
改成可判定的三种形式:
形式一:断言式(适合结构化、事实类)
{
"id": "refund-policy-01",
"input": "我买了三天的会员能退吗?",
"assertions": [
{"type": "contains_all", "value": ["7天", "无理由"]},
{"type": "not_contains", "value": ["不能退", "无法退款"]},
{"type": "max_length", "value": 200}
]
}
形式二:评分制(适合开放式生成)
用一个评分 prompt 让模型给 1–5 分,但必须给出具体维度,否则分数没有意义:
请按以下三个维度各打1-5分,并给出扣分理由:
1. 事实准确性:有没有编造原文没有的信息
2. 完整性:是否覆盖了用户问题的所有部分
3. 简洁性:是否有冗余重复
只输出 JSON: {"facts": n, "complete": n, "concise": n, "reasons": [...]}
用同一份评分 prompt 评所有样本,保证分数可比。
形式三:人审锚点(前 10 次必做)
前 10 次运行,每次都要人工看一眼 diff。一旦发现”评分 5 分的其实很差”,立刻改评分 prompt。评分器本身也是要迭代的。
第三步:选一个不引入复杂依赖的工具链
推荐的最小组合:
- 脚本语言:Python 或 Node,一个文件。
- 用例文件:单个 JSON/YAML,进 Git。
- 运行方式:
node test-prompts.mjs,输出终端表格 + 保存结果快照。 - 对比:保存每次运行的完整输出为
runs/{timestamp}.json,用 diff 工具比。
核心逻辑不到 100 行:
const cases = JSON.parse(readFileSync('prompt-cases.json'));
const results = [];
for (const c of cases) {
const out = await callModel(buildPrompt(PROMPT_VERSION, c.input));
const checks = c.assertions.map(a => check(out, a));
results.push({ id: c.id, output: out, checks });
}
const summary = {
total: cases.length,
passRate: results.filter(r => r.checks.every(x => x.ok)).length / cases.length,
regressions: diffWithBaseline(results, BASELINE)
};
// 打印:失败用例 + 与上次相比新失败的用例
第四步:定义”什么算失败”
这是流程能不能持续的分水岭。建议三条规则:
- 硬性断言失败 = 阻塞。 缺少关键事实、出现禁用表述、超出长度上限,一律拦。
- 评分下降 ≥ 0.5 分 = 需要人工确认。 不直接拦,但必须在合并前有人看一眼。
- 新增失败用例数 > 2 = 自动回滚建议。 提示词改动通常应该”只改一处”,改一处导致三条崩,说明改动方向有问题。
第五步:接进 CI(或者至少接进 PR 模板)
不需要一开始就做成阻塞门禁。最务实的路径:
- 第 1 周:本地能跑,PR 模板里加一行”[ ] 已跑提示词回归测试”。
- 第 2–4 周:跑手动触发的 CI job,把结果贴到 PR 评论。
- 第 5 周起:passRate 下降超过阈值就阻塞合并。
一个容易被忽略的点:测试要在改动前后各跑一次,因为模型版本本身可能在变。如果只跑新版本,你可能把”模型升级带来的变化”误判成”提示词改动带来的变化”。做法是每次发布保留 baseline 快照。
那些真正会被抓出来的问题
实战中这套测试抓到的典型问题,远比想象中具体:
- 把”简洁”改成”详细”后,20 条里 6 条超长,2 条开始编造。
- 加了”请确认所有细节”后,模型在空输入时开始胡编,因为指令要求它确认。
- 换成分段输出格式后,多语言混合用例的格式化全部错乱。
- 系统提示词里新增一句”你是专家”,导致模型对不确定的问题也给出肯定答案(自信度飙升,准确率下降)。
这些问题没有一条能靠 code review 发现,全部是行为层面的事。这就是回归测试存在的唯一理由。
一个常见反对意见
“模型本来就有随机性,测试不稳定,测了也没用。”
这个说法只对一半。随机性确实存在,但:
- 用
temperature: 0可以显著降低方差,大部分断言类用例足够稳定。 - 不稳定的地方恰恰就是风险最大的地方。同一提示词跑 3 次得出 3 种答案,这本身就是需要修的缺陷,而不是放弃测试的理由。
- 实践中建议:关键用例跑 3 次,全过才算通过。这能顺带把不稳定性暴露出来。
结语
提示词回归测试的价值不在于”测试”两个字,而在于它强迫你把模糊的期望写成可判定的断言。做完这一步,你才真正知道自己的提示词应该产出什么——这件事本身往往就会带来一次质量跃升。
半天时间,20 条用例,一个脚本,一套 passRate 基线。这是 2026 年提示词工程最该补的第一块基础设施。