模型评测分数越高越好用？先看这五个骗局

选模型时，最省事的办法是看榜单。也是最容易踩坑的办法。

不是说榜单造假，而是榜单测量的东西，往往不是你实际需要的东西。下面五种失真，每一种都能让一个”高分模型”在你的业务里表现平平。

一、训练集污染

公开基准的题目会进训练数据。一旦进了，模型就不是在”解题”，而是在”回忆”。

判断污染有个简单粗暴的方法：看模型在某个基准上的表现是否显著高于同代模型在相邻能力上的表现。如果它在代码榜单上排第一，但你在真实仓库里用起来和第三名没差别，那份高分大概率有水分。另一个信号是分数呈现出”卡在某个阈值”的形状——比如普遍 90 分以上，说明题目已经饱和，失去区分度。

实用建议：任何榜单都要看它发布多久了。一个三年历史的基准，对当年新模型几乎没有区分能力。

二、提示词不对等

同一个模型，换一种提示格式，分数能差 5 到 15 个点。而多数榜单只用一套固定提示词去测所有模型。

问题在于，每个模型都有自己偏好的格式——有的吃 XML 标签，有的吃简洁的 Markdown，有的对 system 和 user 角色划分敏感，有的需要明确的输出 schema。用一套统一格式测所有模型，等于让一部分模型带着手刹开车。

你在自己业务里会精心调整提示词，那么选型时也应该给每个候选模型一次”公平的调整机会”，而不是直接抄榜单的配置。

三、任务分布偏移

这是最容易被忽略的一种。基准测的是”通用能力”，你的业务是”某个窄领域的特定任务”。两者之间的差距可能大到没有参考价值。

一个典型例子：模型在数学推理榜上遥遥领先，但你的任务是从格式混乱的发票里抽取字段。这个任务需要的是版面理解 + 严格 schema 遵循 + 对错误输入的鲁棒性，和数学推理几乎不相关。真正决定成败的，往往是那个在数学榜上排第五、但输出格式从不跑偏的模型。

结论：通用榜单只用来筛掉明显不行的，剩下的差距一定要用自己的任务测。

四、评委偏好

用模型给模型打分（LLM-as-judge）已经是主流评测手段，而评委有明显的系统性偏好：

• 长度偏好：更长的答案得分更高，即使内容更差
• 格式偏好：带小标题和列表的答案比纯段落得分高
• 自我偏好：同族模型倾向于给同族模型打高分
• 位置偏好：成对比较时更倾向选第一个

这些偏好在”风格类”任务（写作、解释、建议）里影响巨大，在”可验证类”任务（代码、抽取、计算）里影响小。所以看 LLM 评委的榜单时，要问一句：它测的是能力，还是表达？

实用的规避办法是：长度归一化后再比；成对比较时两个顺序都测一遍取平均；关键结论不要用单一评委。

五、平均分掩盖长尾

平均分是这个领域最有欺骗性的数字。

假设两个模型：A 在 90% 的常规任务上表现优秀，但遇到特定类型的输入（比如表格里有合并单元格、文本里混了中英日三种语言）时完全崩溃；B 在所有任务上都是中上，但没有明显崩溃点。

平均分 A 更高，但你的业务如果每天有 5% 的输入属于那种特定类型，A 的用户体验会灾难性得多。

看分布，不要只看均值。 至少要看：最低 10% 的表现、最差的一类子任务、以及错误类型是否可预测。

那到底该看什么

一份务实的选型流程：

第一步，用 30 到 50 条自己的真实样本建一个小评测集。 不需要多，但要覆盖：最常见的任务、最容易出错的边界、你们最在意的质量维度。这批样本的价值高于任何公开榜单。

第二步，只测 2 到 3 个候选。 榜单先筛一遍，但别拿五个模型全测，成本不值。

第三步，指标要分维度。 不要只算一个总分，分别看：正确率、格式合规率、拒答率（该答的答了没有）、幻觉率（不该编的编了没有）。这四个数经常指向不同的模型。

第四步，看失败样本，而不是成功样本。 把每个模型答错的题挨个读一遍，判断”错得是否可接受”——有的模型错得离谱，有的错得接近正确答案只差一点，前者在你系统里会引发事故。

第五步，定期重测。 模型厂商更新频繁，半年前的结果可能已经失效。把评测集纳入 CI，每次换版本跑一次。

一句话总结：榜单用来排除，自己的任务用来选择。把这句话贴在选型会的第一页，能省掉很多争论。