AI 模型发布信息越来越没用：一份读发布说明的筛选方法

现在每周至少有两个“重磅发布”。发布说明越来越长，图表越来越漂亮，但读完你大概率还是不知道：这东西对我的场景到底有没有用。

不是信息太少，是可用信息被埋在营销层下面。下面是我这两年摸索出的一套读法，不复杂，但能省掉大量无效测试。

第一步：跳过所有“第一”

任何带有“首个”“最强”“超越”的句子，先全部跳过。它们几乎都是在一个特定的、你无法复现的评测集上的相对结果。

真正值得看的是能力维度上的具体变化，而不是排名。所以直接找这几类句子：

• 上下文长度变了没有（以及价格是否随之变）
• 是否新增了某种模态或工具调用能力
• 延迟与吞吐是否被提及（通常藏在附录）
• 有没有提“在哪些场景下会变差”

最后一条最值钱。一篇诚实的发布说明一定包含限制说明。如果通篇没有一句“在 X 类任务上表现一般”，要么是产品极其成熟，要么是说明被删干净了。

第二步：把 20 个 benchmark 归成 4 类

发布方通常给一堆评测数字，你只需要按四类看：

类别	看什么	意义
知识与推理	MMLU 系、GPQA 类	决定“能不能用”，通常都已饱和
代码与工具调用	SWE 类、tool-use 类	决定 Agent 场景的天花板
指令遵循与长文本	长上下文召回、格式遵循	决定工程可控性
多语言与中文	中文理解、写作	决定中文场景是否值得换

如果三类都涨了、只有一类持平，那持平的那类往往才是你的真实瓶颈。 发布方不会强调这一点，但这是最容易做出的判断。

第三步：价格与延迟，按你的调用结构换算

“每百万 token 便宜 30%”这种信息要落到你自己的账上才有意义。一个简单的换算法：

• 你的单次任务输入 ≈ 8k、输出 ≈ 1k，且输入缓存命中率高 → 降价主要影响输出价，感受有限；
• 你的任务以长文档为主（输入 100k+）→ 长上下文定价和缓存折扣才是关键，单价降 30% 可能不如缓存命中率提升有用；
• 你的任务是多轮 Agent → 延迟的每一步都会被放大，p95 延迟比单价重要。

很多团队换了“更便宜”的模型，账单反而涨了，就是因为忽略了输出变长或多轮次数增加。

第四步：24 小时内跑自己的 20 道题

不要等别人评测。建一个固定的、属于你自己的 20 道题，覆盖你最常做的三类任务，尤其是那些上次翻车过的。每次新模型发布，新旧模型各跑一遍，人工看差异。

20 道题看不清统计显著性，但能看清失败模式有没有变化。而换模型的决策依据，通常不是平均分，是“它还会不会犯上次那个错”。

一个经验判断： 如果新模型在你的 20 道题上没有解决任何一个旧模型的失败案例，那这次升级对你就是零收益，无论发布说明写得多热闹。

第五步：决定要不要换

换模型只有在三种情况下值得：解决了你已知的失败模式、显著降低单位成本、解锁了之前做不了的能力（比如超长上下文让某个功能变得可行）。

“分数更高”“大家都换了”都不是理由。模型迁移的成本从来不在 API 改造，而在提示词重调、评测重跑、行为回归这三件事上，通常要占掉一个工程师一周。