LLM当裁判不靠谱？一文讲透AI主观评测的坑与解法

几乎所有做 AI 产品的团队都在做同一件事：让一个大模型去评价另一个大模型的输出。省钱、快、能规模化，听上去很美。

但如果你真的把裁判模型的打分和你自己的判断对一遍，会发现分歧大到离谱。问题不在模型笨，而在你问的方式不对。

一、LLM 裁判的三种系统性偏差

1. 位置偏差（Position Bias）

成对比较时，裁判模型明显偏好”第一个”或”第二个”答案。测试方法很简单：把 A、B 两个回答顺序对调，各跑一遍。如果两次结论不一致，就说明位置偏差存在且不可忽略。

实测经验：不同模型偏差方向不同，但通常在 5%–15% 的分歧率。不校正，你的 A/B 结论基本是抛硬币。

2. 长度偏差（Verbosity Bias）

更长的回答更容易得高分，即使内容是注水的。裁判模型把”信息多”误判为”质量高”。

解法：在评分标准里明确写”冗长、重复、无新增信息应扣分”，并且对字数差异超过 1.5 倍的对比做单独抽样人工复核。

3. 自我偏好（Self-Preference）

GPT 系列裁判更偏爱 GPT 系列回答，Claude 偏爱 Claude。这不是玄学，是训练分布导致的。用同一个厂商的模型做裁判，测另一家厂商的模型，偏差是结构性的。

二、让裁判靠谱的四个动作

动作一：先给评分细则，再给题目

不要问”哪个回答更好”，而要给出可判定的维度：

请按以下维度打分（1-5分）：
- 事实准确性：是否有可验证的事实错误（有则最高2分）
- 完整性：是否覆盖了问题的所有子问题
- 可执行性：读者能否直接照着做
- 简洁性：是否包含与问题无关的冗余内容
输出 JSON：{score: {...}, reason: "..."}

评分细则越具体，裁判越稳定。reason 字段必须要求写，否则无法事后排查。

动作二：双裁判 + 分歧仲裁

两个不同厂商的模型分别打分。一致就采纳，分歧超过 1 分就进入人工队列。

这套流程能把人工复核量压到 10% 以内，同时避免单点偏差。

动作三：建立 50 条黄金样本

从真实业务里挑 50 个有代表性的问题，人工标好标准答案和分数。每次改 Prompt、换模型，先跑这 50 条，看裁判和人工的一致性（Kendall’s tau 或简单的一致率）。

一致性低于 0.7，说明你的评测流程本身还没准备好。

动作四：按维度拆开看

一个总分毫无意义。准确率 4.2、可执行性 2.8 的产品，和一个 3.5/3.5 的产品，改进方向完全不同。要求裁判输出分维度分数，用雷达图看趋势。

三、什么场景不该用 LLM 裁判

• 有唯一正确答案的任务：用字符串匹配、单元测试、结构化校验，便宜且准确。
• 涉及法律、医疗、财务的合规判断：必须人工。
• 创意类的主观评价：LLM 裁判只能做粗筛，最终还是要人。

四、一个最小可用的评测流水线

1. 收集 50–200 条真实用户问题（不要自己编）
2. 人工标注 50 条作为校准集
3. 写评分细则 + JSON 输出格式
4. 双裁判并行，记录分歧
5. 每次迭代只跑校准集 + 新增变更点的回归集
6. 每周人工抽检 20 条，更新评分细则

整个流程一周就能搭起来，成本不到 100 元。

五、裁判模型本身也在演进

2026 年的一个明显变化是：推理型模型当裁判的表现明显好于普通模型。让它先写出评判思路、再给分数，一致率通常能提升 10 个百分点以上。代价是成本和延迟上升，所以实践中常见做法是——

• 日常回归用便宜模型，只看粗筛指标（是否跑偏、格式是否合规）
• 版本发布前的关键评测用推理模型，看细粒度质量
• 两者的校准集必须共用，否则趋势不可比

另一个现实问题是裁判模型的版本漂移。厂商更新模型后，哪怕你自己什么都没改，历史分数也会变。所以评测报告里必须固定记录裁判模型的完整版本号，否则你半年后回看数据，根本分不清是产品变好了还是裁判变松了。

写在最后

LLM-as-Judge 不是”免人工”，而是”把人工从重复劳动里解放到关键判断上”。裁判模型的质量上限，永远由你的评分细则和黄金样本决定，不是由裁判模型本身多聪明决定。

先用 50 条样本把一致性做到 0.8，再谈规模化。顺序反了，你只是在用更快的速度跑向错误的方向。