给团队搭一个「提示词回归测试」,只需要半天

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

提示词改一个词就可能让线上效果崩掉,但没有测试就没人知道。本文提供一套用20条真实用例搭起提示词回归测试的完整方法,包含用例选择、自动评分和CI接入。

那个周三下午的改动

一个团队在提示词里把”请简洁回答”改成了”请详细解释,确保用户理解”,理由是用户反馈说”AI 回答太短了”。改动很小,评审也通过了。上线两天后,客服工单里开始出现”AI 说的话太啰嗦""关键信息找不到”的抱怨。

两句话都对,但它们改变了输出的整个形态。而团队没有任何工具能告诉他们这次改动会带来什么影响——除了上线后看真实用户反应。

这就是提示词工程最大的工程缺陷:它是代码,却没有代码的测试。一行 SQL 改错会被 CI 拦住,一句提示词改错只能靠运气。

好消息是,搭一个能干活的回归测试只需要半天。下面是完整方法。

第一步:收集 20 条”真实用例”(关键,不要自己编)

测试用例的价值取决于它是否代表真实场景。自己编的用例 100% 会通过,因为你的直觉和提示词是同一个人写的。

正确做法:

  1. 从线上日志里抽样最近 7 天的请求,按意图聚类(不需要很精确,人工看 100 条能分出 5–8 类)。
  2. 每类挑 2–4 条,共凑 20 条左右。
  3. 必须包含边界样本:空输入、超长输入、多语言混合、带脏数据(错别字、乱码)、越权请求(“忽略之前的指令”)。
  4. 存档原始输入原样,不要清洗。

20 条的意义不是覆盖全部,而是覆盖你会踩的坑。宁可 20 条真实,不要 200 条虚构。

第二步:给每条用例写”可判定”的期望

这一步是全部工作里最难也最值钱的。绝大多数团队做不下去,就是因为期望写成了”回答应该有帮助”——这种期望无法自动判定。

改成可判定的三种形式:

形式一:断言式(适合结构化、事实类)

{
  "id": "refund-policy-01",
  "input": "我买了三天的会员能退吗?",
  "assertions": [
    {"type": "contains_all", "value": ["7天", "无理由"]},
    {"type": "not_contains", "value": ["不能退", "无法退款"]},
    {"type": "max_length", "value": 200}
  ]
}

形式二:评分制(适合开放式生成)

用一个评分 prompt 让模型给 1–5 分,但必须给出具体维度,否则分数没有意义:

请按以下三个维度各打1-5分,并给出扣分理由:
1. 事实准确性:有没有编造原文没有的信息
2. 完整性:是否覆盖了用户问题的所有部分
3. 简洁性:是否有冗余重复
只输出 JSON: {"facts": n, "complete": n, "concise": n, "reasons": [...]}

用同一份评分 prompt 评所有样本,保证分数可比。

形式三:人审锚点(前 10 次必做)

前 10 次运行,每次都要人工看一眼 diff。一旦发现”评分 5 分的其实很差”,立刻改评分 prompt。评分器本身也是要迭代的。

第三步:选一个不引入复杂依赖的工具链

推荐的最小组合:

  • 脚本语言:Python 或 Node,一个文件。
  • 用例文件:单个 JSON/YAML,进 Git。
  • 运行方式:node test-prompts.mjs,输出终端表格 + 保存结果快照。
  • 对比:保存每次运行的完整输出为 runs/{timestamp}.json,用 diff 工具比。

核心逻辑不到 100 行:

const cases = JSON.parse(readFileSync('prompt-cases.json'));
const results = [];

for (const c of cases) {
  const out = await callModel(buildPrompt(PROMPT_VERSION, c.input));
  const checks = c.assertions.map(a => check(out, a));
  results.push({ id: c.id, output: out, checks });
}

const summary = {
  total: cases.length,
  passRate: results.filter(r => r.checks.every(x => x.ok)).length / cases.length,
  regressions: diffWithBaseline(results, BASELINE)
};

// 打印:失败用例 + 与上次相比新失败的用例

第四步:定义”什么算失败”

这是流程能不能持续的分水岭。建议三条规则:

  1. 硬性断言失败 = 阻塞。 缺少关键事实、出现禁用表述、超出长度上限,一律拦。
  2. 评分下降 ≥ 0.5 分 = 需要人工确认。 不直接拦,但必须在合并前有人看一眼。
  3. 新增失败用例数 > 2 = 自动回滚建议。 提示词改动通常应该”只改一处”,改一处导致三条崩,说明改动方向有问题。

第五步:接进 CI(或者至少接进 PR 模板)

不需要一开始就做成阻塞门禁。最务实的路径:

  • 第 1 周:本地能跑,PR 模板里加一行”[ ] 已跑提示词回归测试”。
  • 第 2–4 周:跑手动触发的 CI job,把结果贴到 PR 评论。
  • 第 5 周起:passRate 下降超过阈值就阻塞合并。

一个容易被忽略的点:测试要在改动前后各跑一次,因为模型版本本身可能在变。如果只跑新版本,你可能把”模型升级带来的变化”误判成”提示词改动带来的变化”。做法是每次发布保留 baseline 快照。

那些真正会被抓出来的问题

实战中这套测试抓到的典型问题,远比想象中具体:

  • 把”简洁”改成”详细”后,20 条里 6 条超长,2 条开始编造。
  • 加了”请确认所有细节”后,模型在空输入时开始胡编,因为指令要求它确认。
  • 换成分段输出格式后,多语言混合用例的格式化全部错乱。
  • 系统提示词里新增一句”你是专家”,导致模型对不确定的问题也给出肯定答案(自信度飙升,准确率下降)。

这些问题没有一条能靠 code review 发现,全部是行为层面的事。这就是回归测试存在的唯一理由。

一个常见反对意见

“模型本来就有随机性,测试不稳定,测了也没用。”

这个说法只对一半。随机性确实存在,但:

  • 用 temperature: 0 可以显著降低方差,大部分断言类用例足够稳定。
  • 不稳定的地方恰恰就是风险最大的地方。同一提示词跑 3 次得出 3 种答案,这本身就是需要修的缺陷,而不是放弃测试的理由。
  • 实践中建议:关键用例跑 3 次,全过才算通过。这能顺带把不稳定性暴露出来。

结语

提示词回归测试的价值不在于”测试”两个字,而在于它强迫你把模糊的期望写成可判定的断言。做完这一步,你才真正知道自己的提示词应该产出什么——这件事本身往往就会带来一次质量跃升。

半天时间,20 条用例,一个脚本,一套 passRate 基线。这是 2026 年提示词工程最该补的第一块基础设施。

📤 分享到