同样叫「推理模型」,快慢两档的成本差是7倍:一次路由策略的实测复盘
用推理模型处理一切是2026年最贵的偷懒。本文记录一个真实业务在快慢模型混用上的实测数据,给出难度判定规则、降级链设计和成本-时延平衡的量化方法。
起点:一个月烧掉的钱里有六成是浪费
一个日均 20 万次调用的文档问答产品,最初为了”效果稳妥”,全量走了当时的推理模型。账单出来后做了逐条抽样归类:63% 的请求是”查一个字段并格式化输出”这一级难度,根本不需要多步推理。用推理模型处理它们,相当于开着卡车去送快递。
换模型的直觉很简单:简单问题用便宜的快模型,难的用贵的推理模型。但真正落地时会遇到三个具体问题——怎么判断难度、判断错了怎么办、降级链怎么设计。这篇把这三件事讲清楚。
先看清成本结构
推理模型的贵,不只贵在单价上,更贵在输出 Token 结构上。一次调用通常包含:
- 输入 Token(prompt + 检索上下文)
- 隐藏推理 Token(部分厂商按输出价计费)
- 可见输出 Token
快模型的推理 Token 几乎为零,推理模型的推理 Token 在复杂任务上经常是可见输出的 2–5 倍。这就导致了一个反直觉现象:同一道题,推理模型的成本可能是快模型的 7–10 倍,而不是单价表上看上去的 3 倍。
所以优化空间不在于”砍单价”,而在于把不需要推理的请求挪出去。
难度判定:不要问模型,先问代码
最常见的错误做法是让模型自己判断”这个问题难不难”。这条路有三个坑:判断本身要花一次调用、判断结果不稳定、模型倾向高估难度(因为它不知道自己有多便宜)。
更可靠的是用可计算的信号做前置分类。实测有效的信号有五个:
| 信号 | 阈值示例 | 说明 |
|---|---|---|
| 输入 Token 数 | > 8k 走慢模型 | 长上下文通常伴随多文档比对 |
| 检索命中片段数 | ≥ 4 段走慢模型 | 多源信息需要合并推理 |
| 是否含时间/数值比较词 | 命中即加分 | ”比…早""增长率”这类需要计算 |
| 是否含多问题结构 | 分句后问句 ≥ 2 | 多子问题需要拆解 |
| 历史同类通过率 | 该 cluster 快模型失败率 > 25% | 用线上数据反哺 |
把五个信号加权成一个分数,先用 0.85 的高阈值走快模型(保守),再根据线上失败率逐步放宽。这个做法有两个好处:分类成本接近零,且每个决策都可解释、可回溯。
一个具体的规则示例:
if input_tokens > 8000 or passages >= 4: -> reasoning
elif score >= 4: -> reasoning
elif is_structured_extraction and schema_simple: -> fast
else: -> fast
判定错了怎么办:降级链设计
分类必然有误判,关键是误判的成本要低。两条方向相反的降级链:
正向(简单→复杂):快模型先答,用置信度/自检触发升级。适合成本敏感、可容忍一次额外调用的场景。缺点是慢——升级意味着两次往返。
反向(复杂→简单):推理模型先答,答得好就缓存同 cluster 的判定,后续同类型走快模型。适合已有一定流量、能做聚类的成熟系统。
实践中更常用的是混合式:新上线的意图 cluster 默认走推理模型,跑够 200 次后统计快模型的 A/B 表现,如果差距在可接受范围内(如准确率差 < 3 个百分点),就切换默认档位。这套”先贵后便宜”的策略比”先便宜后修补”要安全得多,因为用户在第一周看到的是最好的效果。
实测数据
下面是一个月 A/B 的汇总(样本 6 万条,人工标注 3000 条作为金标准):
| 档位策略 | 平均准确率 | P95 时延 | 相对成本 |
|---|---|---|---|
| 全量推理模型 | 91.4% | 8.2s | 1.00 |
| 全量快模型 | 78.6% | 1.9s | 0.12 |
| 五信号路由 | 89.7% | 3.1s | 0.31 |
| 五信号路由 + 失败聚类回流 | 90.8% | 3.3s | 0.29 |
几个值得注意的结论:
- 路由后的准确率损失只有 1.7 个百分点,成本降了 69%,时延降了 62%。这个交换比在绝大多数业务里是划算的。
- 全量快模型的准确率掉得太狠(13 个百分点),说明这类任务里确实有相当比例需要推理——切不能一刀切。
- 聚类回流的收益体现在成本而非准确率:它把一部分原本被判为”难”的请求挪回快模型,节省 2%,准确率还轻微上升,因为规则被修正了。
三个容易被忽略的细节
细节一:时延的感知是非线性的
用户对 2s 和 3s 的差别感受不明显,对 3s 和 8s 的差别感受极强。这意味着路由的价值有一大半来自时延,而时延优化往往比成本优化更容易向老板汇报。别只算钱,要一起算体验。
细节二:缓存可以让推理模型变便宜
推理模型的结果往往更稳定(尤其温度 0 时),更适合做语义缓存。对高频重复问题(FAQ 类通常占 20–35%),命中缓存后成本趋近于零,且响应几乎是即时的。缓存适合放在推理模型这一侧,因为快模型结果本身就不值得缓存。
细节三:路由层的故障域要隔离
路由判断本身如果出错(比如 tokenizer 失败、特征服务超时),不能让整个请求挂掉。默认行为应该是降级到推理模型(保效果)而不是快模型,或者按业务 SLA 决定。这条在压测里经常被漏掉,上线后第一个高峰就暴露。
一个最小可行的落地清单
- 抽样 500 条真实请求,人工标注”是否需要多步推理”,得到一个初始的先验分布。
- 用 3–5 个可计算信号训练一个极简规则(不需要 ML 模型,规则更容易维护和解释)。
- 双档并行跑两周,比较每个 cluster 的表现,而不是只看全局平均——平均值会掩盖局部灾难。
- 上线混合式策略:新 cluster 先走贵档,跑够样本再切。
- 建立 cluster 级别的失败率看板,按月重新校准阈值。
结语
“用最强的模型”是一种可以理解但昂贵的默认策略。真正的工程能力体现在知道哪些请求不需要它——而这件事完全可以通过可计算信号、合理的降级链和一段时间的观察来做到。上面这套做法把成本降到三成、时延降到四成,损失的准确率不到两个点,这就是路由策略的全部意义。