前沿模型都会通过考试了,然后呢:评测基准的军备竞赛与真实失效

📅 2026/11/15 ✍️ 小文 📖 约 1 分钟

2026 年的一份成绩单:主流基准普遍饱和,排行榜的区分度在崩塌。本文分析饱和的三个信号、榜单失真的四种机制,以及替代方案——把评测搬回自己业务里。

2023 年,MMLU 是选模型的第一参考。2024 年,它被各路模型刷到 88 分以上,失去了区分度,行业转向 GPQA、AIME、SWE-bench。

2026 年,这三个也基本饱和了。SWE-bench Verified 的头部成绩逼近 80%,AIME 这类数学基准对前沿模型来说已经接近”送分”。于是又出现了 ARC-AGI-2、HLE(人类最后考试)这类刻意设计得更难的基准。

这条轨迹看起来像在进步,但它隐含一个问题:如果每个新基准的寿命都是 18 个月,那它到底在衡量什么?

饱和的三个信号

信号一:分数分布被压到天花板附近。 当 top 5 的模型都挤在 78–84 分之间,排名差异大概率落在评测自身的噪声里(题目采样、评分标准、重试次数)。这时候”第一名”没有意义。

信号二:训练数据污染不可排除。 公开基准的题目会进入下一轮预训练语料。厂商无法证明”没在训练时见过”,第三方也无法验证。当一个基准的题目在网上流传超过半年,它的分数就该打个问号。

信号三:基准分数与真实使用感受脱节。 这是最硬的信号。某模型在基准上领先 6 分,但团队实际用下来,在代码修改、长文档理解这些日常任务上并无优势,甚至更差。这说明基准测的东西和你关心的事情不是同一件。

榜单失真的四种机制

除了饱和,还有几个结构性问题:

1. 任务形态单一。 SWE-bench 测的是”给定仓库和 issue,输出 patch”,这是单轮、有明确判定、无需交互的任务。真实开发是几十轮的、目标会变的、需要澄清的。模型可以在前者拿高分,在后者表现拙劣。

2. 评分脚本可被针对优化。 只要评测方式是固定的(跑测试通过就算对),模型就可能学会”专门让测试通过”而非”真正解决问题”——补 try/except、加 mock、跳过断言。这类行为在分数上看不出来。

3. 平均分掩盖分层。 一个 82 分的模型,可能在简单任务上 98 分,在困难任务上 40 分;另一个 80 分的模型,在两层都是 80。平均值相同,但选择完全不同。

4. 成本与延迟不在榜上。 排行榜不告诉你这个分数花了多少 token、多少秒。一个”领先 3 分但贵 5 倍”的模型,在很多场景下是错误选择。

厂商视角:为什么必须继续做基准

需要公平地说一句:基准饱和不是厂商”作弊”,而是一种结构性必然。

  • 基准是唯一可公开比较的东西,不做就没有叙事;
  • 基准是优化的代理目标,有目标才能组织研究;
  • 新基准的出现,本身就是能力提升的副产品。

问题不在厂商,在使用者:把公开基准当成选型的唯一依据。

替代方案:把评测搬回业务

我们的做法是三层,都不依赖公开榜单:

第一层:自己的黄金集(Golden Set)

从真实业务日志里抽 200–500 条任务,人工标注”好的输出长什么样”。这是唯一真正反映你的场景的数据。

要点:

  • 必须来自真实流量,不是编造的;
  • 必须包含边界样本(信息不全、意图模糊、需要拒答);
  • 每季度更新一次,把新出现的任务类型补进去。

第二层:分场景看,不看总分

不要算一个总准确率。按任务类型分开看:

场景权重模型 A模型 B
结构化抽取40%96%91%
长文档摘要25%82%88%
多轮追问20%74%79%
边界拒答15%91%85%

这样一拆,结论就清晰了:如果你的流量 70% 是抽取和摘要,A 更合适。总分是幻觉,分层是决策。

第三层:成本与延迟一起测

每个模型跑黄金集时,同时记录:token 消耗、P50/P95 延迟、失败重试率。最后算”每个成功任务的平均成本”。

这个指标经常颠覆结论。某模型质量高 4 个百分点,但成本高 2.3 倍——在这个场景下,更贵的那个显然不划算。

关于新基准的态度

对于 ARC-AGI-2、HLE 这类新基准,建议的姿态是:当作”能力雷达”,不当作”排名表”。

它们能告诉你某类能力(抽象推理、专家级知识)是否达到了某个门槛,这对判断”模型能不能做某类任务”有价值。但它们的分数差距不构成选型依据。

一句话

基准饱和不是评测的失败,而是提醒:当模型都能通过考试,评价就该从”考分”转向”上手干活的表现”。选型的答案,从来不在排行榜上,而在你自己的日志里。

📤 分享到