同样叫「推理模型」,快慢两档的成本差是7倍:一次路由策略的实测复盘

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

用推理模型处理一切是2026年最贵的偷懒。本文记录一个真实业务在快慢模型混用上的实测数据,给出难度判定规则、降级链设计和成本-时延平衡的量化方法。

起点:一个月烧掉的钱里有六成是浪费

一个日均 20 万次调用的文档问答产品,最初为了”效果稳妥”,全量走了当时的推理模型。账单出来后做了逐条抽样归类:63% 的请求是”查一个字段并格式化输出”这一级难度,根本不需要多步推理。用推理模型处理它们,相当于开着卡车去送快递。

换模型的直觉很简单:简单问题用便宜的快模型,难的用贵的推理模型。但真正落地时会遇到三个具体问题——怎么判断难度、判断错了怎么办、降级链怎么设计。这篇把这三件事讲清楚。

先看清成本结构

推理模型的贵,不只贵在单价上,更贵在输出 Token 结构上。一次调用通常包含:

  • 输入 Token(prompt + 检索上下文)
  • 隐藏推理 Token(部分厂商按输出价计费)
  • 可见输出 Token

快模型的推理 Token 几乎为零,推理模型的推理 Token 在复杂任务上经常是可见输出的 2–5 倍。这就导致了一个反直觉现象:同一道题,推理模型的成本可能是快模型的 7–10 倍,而不是单价表上看上去的 3 倍。

所以优化空间不在于”砍单价”,而在于把不需要推理的请求挪出去。

难度判定:不要问模型,先问代码

最常见的错误做法是让模型自己判断”这个问题难不难”。这条路有三个坑:判断本身要花一次调用、判断结果不稳定、模型倾向高估难度(因为它不知道自己有多便宜)。

更可靠的是用可计算的信号做前置分类。实测有效的信号有五个:

信号阈值示例说明
输入 Token 数> 8k 走慢模型长上下文通常伴随多文档比对
检索命中片段数≥ 4 段走慢模型多源信息需要合并推理
是否含时间/数值比较词命中即加分”比…早""增长率”这类需要计算
是否含多问题结构分句后问句 ≥ 2多子问题需要拆解
历史同类通过率该 cluster 快模型失败率 > 25%用线上数据反哺

把五个信号加权成一个分数,先用 0.85 的高阈值走快模型(保守),再根据线上失败率逐步放宽。这个做法有两个好处:分类成本接近零,且每个决策都可解释、可回溯。

一个具体的规则示例:

if input_tokens > 8000 or passages >= 4: -> reasoning
elif score >= 4: -> reasoning
elif is_structured_extraction and schema_simple: -> fast
else: -> fast

判定错了怎么办:降级链设计

分类必然有误判,关键是误判的成本要低。两条方向相反的降级链:

正向(简单→复杂):快模型先答,用置信度/自检触发升级。适合成本敏感、可容忍一次额外调用的场景。缺点是慢——升级意味着两次往返。

反向(复杂→简单):推理模型先答,答得好就缓存同 cluster 的判定,后续同类型走快模型。适合已有一定流量、能做聚类的成熟系统。

实践中更常用的是混合式:新上线的意图 cluster 默认走推理模型,跑够 200 次后统计快模型的 A/B 表现,如果差距在可接受范围内(如准确率差 < 3 个百分点),就切换默认档位。这套”先贵后便宜”的策略比”先便宜后修补”要安全得多,因为用户在第一周看到的是最好的效果。

实测数据

下面是一个月 A/B 的汇总(样本 6 万条,人工标注 3000 条作为金标准):

档位策略平均准确率P95 时延相对成本
全量推理模型91.4%8.2s1.00
全量快模型78.6%1.9s0.12
五信号路由89.7%3.1s0.31
五信号路由 + 失败聚类回流90.8%3.3s0.29

几个值得注意的结论:

  1. 路由后的准确率损失只有 1.7 个百分点,成本降了 69%,时延降了 62%。这个交换比在绝大多数业务里是划算的。
  2. 全量快模型的准确率掉得太狠(13 个百分点),说明这类任务里确实有相当比例需要推理——切不能一刀切。
  3. 聚类回流的收益体现在成本而非准确率:它把一部分原本被判为”难”的请求挪回快模型,节省 2%,准确率还轻微上升,因为规则被修正了。

三个容易被忽略的细节

细节一:时延的感知是非线性的

用户对 2s 和 3s 的差别感受不明显,对 3s 和 8s 的差别感受极强。这意味着路由的价值有一大半来自时延,而时延优化往往比成本优化更容易向老板汇报。别只算钱,要一起算体验。

细节二:缓存可以让推理模型变便宜

推理模型的结果往往更稳定(尤其温度 0 时),更适合做语义缓存。对高频重复问题(FAQ 类通常占 20–35%),命中缓存后成本趋近于零,且响应几乎是即时的。缓存适合放在推理模型这一侧,因为快模型结果本身就不值得缓存。

细节三:路由层的故障域要隔离

路由判断本身如果出错(比如 tokenizer 失败、特征服务超时),不能让整个请求挂掉。默认行为应该是降级到推理模型(保效果)而不是快模型,或者按业务 SLA 决定。这条在压测里经常被漏掉,上线后第一个高峰就暴露。

一个最小可行的落地清单

  1. 抽样 500 条真实请求,人工标注”是否需要多步推理”,得到一个初始的先验分布。
  2. 用 3–5 个可计算信号训练一个极简规则(不需要 ML 模型,规则更容易维护和解释)。
  3. 双档并行跑两周,比较每个 cluster 的表现,而不是只看全局平均——平均值会掩盖局部灾难。
  4. 上线混合式策略:新 cluster 先走贵档,跑够样本再切。
  5. 建立 cluster 级别的失败率看板,按月重新校准阈值。

结语

“用最强的模型”是一种可以理解但昂贵的默认策略。真正的工程能力体现在知道哪些请求不需要它——而这件事完全可以通过可计算信号、合理的降级链和一段时间的观察来做到。上面这套做法把成本降到三成、时延降到四成,损失的准确率不到两个点,这就是路由策略的全部意义。

📤 分享到