你的模型被下架过吗?AI服务的「供应商更替」风险与六个月缓冲方案
模型下架、API 涨价、能力退化,是AI项目最容易被忽略的持续性风险。本文给出一套可落地的迁移预案:抽象层设计、回归基线、双写验证、灰度切换。
一个必然会发生的事件
如果你的 AI 产品跑得够久,一定会遇到这三件事中的至少一件:
- 模型下架:厂商宣布某个版本停止服务,给你一个截止日期。
- 行为改变:模型名没变,但底层版本升级了,输出风格、格式遵循度、拒答倾向悄悄改变。
- 价格调整:或涨或降,反正你的成本模型要重算。
这三件事的性质是一样的:你把一部分核心能力外包给了一个你无法控制的时间表。
大多数团队的反应是”到时候再说”。但真正痛苦的不是切换本身,而是切换时的无知——你不知道新模型在你的场景上表现如何,因为你从来没有建立过衡量”表现”的基线。
这篇文章讲怎么提前六个月把这个坑填上。
第一步:建立模型抽象层(一次投入,长期受益)
最基础的防护是:业务代码里不允许出现模型名。
❌ 错误:
const res = await client.chat("gpt-xxx-2025-06", messages)
✅ 正确:
const res = await llm.generate({
role: "classify", // 业务角色,不是模型名
input: text,
schema: TicketSchema,
budget: { maxTokens: 500 }
})
所有模型选择集中在配置层:
roles:
classify:
primary: model-a
fallback: model-b
params: { temperature: 0, maxTokens: 200 }
long_summary:
primary: model-c
fallback: model-a
抽象层的价值不只是”方便换模型”,更在于它强迫你把散落各处的隐式参数显式化:超时、重试次数、温度、max tokens、结构化输出 schema。这些参数平时散在代码里,迁移时没人记得住。
踩坑记录:抽象层要覆盖的不只是文本生成。嵌入模型、重排序模型、语音转写、图像生成,每一个都有下架风险,且往往被遗漏。嵌入模型的下架是最致命的——因为它意味着整个向量库要重建。
第二步:建立回归基线,而不是等出事再测
没有基线的迁移是赌博。基线应该包含三样东西:
1. 冻结的测试集(golden set)
从真实流量里采样 200–500 条,覆盖:
- 典型样本(70%)
- 边界样本:超长输入、空输入、多语言混杂、含特殊格式(20%)
- 历史事故样本:曾经出过错的那批(10%,最有价值)
这份数据要冻结版本,永久保留。每次评估都跑同一份,指标才可比。
2. 自动评估指标
按任务类型定义:
- 分类/抽取:准确率、字段完整率、schema 合法率
- 生成:长度分布、关键词覆盖、事实一致性(用另一个模型核对)
- Agent 任务:成功率、平均轮次、平均 token 消耗、失败模式分布
3. 固化的人工评分采样
自动指标抓不到”读起来怪不怪”。每次评估固定抽 30 条人工盲评,累积下来就是一份”体感差异”的长期记录。
关键做法:这套基线在平时就要跑。每周跑一次,记录指标。这样当厂商宣布升级时,你能立刻看出”新版本在这周的变化是正常的还是异常的”。
第三步:双写验证(多花 20% 成本,换确定性)
真正要切换前,做一件事:把线上流量同时发给新旧两个模型,只采纳旧模型的结果。
请求 → [采样 10%]
→ 主模型(结果返回给用户)
→ 影子模型(结果只记录,不返回)
→ 对比日志(差异统计 + 样本留存)
这一步的价值是全方位的:
- 理论上”应该通过”的测试集,实践中总有盲区。影子流量能覆盖真实分布。
- 你能看到延迟差异:新模型可能更准但慢 800ms。
- 你能看到成本差异:新模型平均输出更长,成本反而更高。
- 你能看到格式遵循度:schema 合法率是否下降。
运行一周左右,你会有一份足够支撑决策的数据。这比任何跑分表都可靠。
第四步:灰度切换与回滚预案
有了信心,仍然要逐步切换:
第 1 天:5% 流量
第 2 天:20%
第 3–4 天:50%
第 5 天:100%
每次放量前检查四个指标:成功率、延迟 P95、成本、用户投诉/转人工率。
必须有的回滚开关:一个配置项,能在 1 分钟内把所有流量切回旧模型。在模型厂商宣布下架的场景里,旧模型可能已经不可用,回滚目标应该是”上一个验证过的备选模型”,而不是”刚下线的那个”。
现实中的做法是永远保持至少两个可用供应商在配置里,哪怕其中一个只承担 0% 流量。它为的是在下架公告出现的那天,你不是从零开始。
一个时间线模板
假设今天收到厂商通知:模型将在 6 个月后下线。
| 时间点 | 动作 |
|---|---|
| 第 1 周 | 确认通知细节,评估影响范围(哪些角色在用) |
| 第 2 周 | 在候选模型上跑冻结基线,得到初步对比 |
| 第 3–4 周 | 修正提示词 / schema(通常要微调,不同模型对提示词敏感度不同) |
| 第 2 月 | 影子流量双写,收集真实分布数据 |
| 第 3 月 | 灰度 5% → 50% |
| 第 4 月 | 全量,观察稳定性 |
| 第 5 月 | 清理旧模型依赖,更新文档 |
| 第 6 月 | 下线缓冲,处理遗留 |
关键洞察:真正花时间的不是”换模型”,是重新调提示词。不同模型对 system prompt 的敏感点差异很大,一套在 A 上效果极好的提示词,在 B 上可能完全失效。这一段至少预留 2–4 周。
三类最容易被忽略的连带影响
1. 嵌入模型的向量不兼容。 换嵌入模型 = 向量空间变了 = 旧向量全部失效 = 要重建整个索引。如果知识库很大,重建可能要几天。迁移计划里必须单列这一项,而且要提前跑,不能留到最后。
2. 微调/蒸馏产物的时效。 如果你的小模型是用旗舰模型蒸馏出来的,教师模型换了,蒸馏数据的分布就变了。是否需要重训?答案通常是”要”,这也意味着评估集要重跑。
3. 成本模型的假设变了。 新模型可能更便宜但输出更长,也可能更贵但轮次更少。不要用”每百万 token 单价”直接换算,要用”每完成一个任务的成本”重算。
结语
模型依赖是一种新的基础设施依赖,它的更新周期比操作系统快得多,通知期却短得多。
能在这件事上活得好的人,不是预测得更准的人,而是准备得更早的人:有抽象层、有基线、有备选供应商、有灰度机制。
这四样东西加起来,成本大概是一个工程师两周的时间。而一次没准备的模型下架,代价可能是产品停摆三天。