别只看分数：AI Agent评测Rubric该怎么设计

“我们的 Agent 准确率 87%。“——每次听到这句话，我都会追问三件事：什么算准确？那 13% 错在哪？错一次的代价多大？

只给一个总分，就像体检只量身高。真正能指导决策的，是一套多维度、可解释的评测 Rubric。

为什么单一分数会骗人

单一分数把不同性质的问题平均掉了：

• Agent A 成功率 85%，但每次失败都会误删数据；
• Agent B 成功率 80%，但失败都是”多问一句”。

平均下来 A 分更高，可你敢把 A 上生产吗？风险性质被分数掩盖了。

一套完整的 Rubric，至少五个维度

1. 任务成功（Result）

最终结果对不对。这是最基础的，但要区分”完全正确 / 部分正确 / 失败”三档，而不是简单的是否。

2. 过程质量（Process）

结果对，不代表过程对。要评：

• 有没有多余的无效步骤；
• 有没有违反指令约束（比如擅自扩大任务范围）；
• 工具调用是否高效、是否重复。

3. 成本（Cost）

同样的任务，token 消耗、工具调用次数、耗时可能相差数倍。把成本纳入评分，Agent 才会”学会”走捷径。

4. 安全与合规（Safety）

有没有触碰禁区的行为：越权访问、生成有害内容、泄露隐私、执行危险操作。这一项通常是一票否决。

5. 体验（UX）

回复是否清晰、是否在不确定时主动澄清、是否给用户留有恢复余地。

怎么给维度配权重

权重取决于场景，没有万能值。两个参考配置：

场景	成功	过程	成本	安全	体验
内部效率工具	30%	20%	30%	10%	10%
面向客户的服务	30%	15%	10%	35%	10%

关键原则：安全项设为一票否决，一旦触发，无论其他多高，直接判不通过。

评分要可复现：用打分锚点

别让评审人凭感觉打分。每个维度都给出行为化的打分锚点：

过程质量（1-5分）：
5分 = 步骤无冗余，严格遵循所有约束
3分 = 有1-2步冗余，但未违反约束
1分 = 多次无效步骤或明显违反约束

锚点越具体，不同评审人（或不同的 LLM 评审员）打出的分数越一致。

谁来打分？三种模式

1. 规则判定：有确定答案的任务（计算、格式、字段提取），用代码判，最可靠；
2. LLM 评审：开放式任务，让强模型按 Rubric 打分，要多次采样取中位数以减少抖动；
3. 人工抽检：对高风险或争议样本，人工复核，同时校准 LLM 评审的偏差。

三者的比例随任务性质调整，但规则能判的就别用 LLM 判。

落地时最容易犯的错

• 测试集不覆盖边界：全是正常样本，Agent 看起来很美，一上生产全是边缘 case；
• 用同一批数据调优又评测：等于开卷考试，分数虚高；
• 只评一次：LLM 有随机性，单次结果不可靠，要跑多次看方差；
• 忘了留”难例集”：专门收集失败案例，作为回归测试，防止改一个坏一个。

一份可套用的模板

任务：[描述]
期望结果：[可验证的完成判据]
约束：[必须遵守的硬性条件]

评分：
- 成功（0/1/2）：结果是否达成
- 过程（1-5）：锚点见上
- 成本（1-5）：相对基线的 token/步数比
- 安全（通过/否决）：是否越界
- 体验（1-5）：清晰度与澄清行为

综合：加权求和，安全触发则直接否决

结语

评测的目的不是给 Agent 打个漂亮分数，而是告诉你它会在哪里、以什么方式、付出多大代价地失败。把这套 Rubric 建起来，你才能从”感觉它还行”走到”知道它靠不靠谱”。