你的模型被下架过吗?AI服务的「供应商更替」风险与六个月缓冲方案

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

模型下架、API 涨价、能力退化,是AI项目最容易被忽略的持续性风险。本文给出一套可落地的迁移预案:抽象层设计、回归基线、双写验证、灰度切换。

一个必然会发生的事件

如果你的 AI 产品跑得够久,一定会遇到这三件事中的至少一件:

  1. 模型下架:厂商宣布某个版本停止服务,给你一个截止日期。
  2. 行为改变:模型名没变,但底层版本升级了,输出风格、格式遵循度、拒答倾向悄悄改变。
  3. 价格调整:或涨或降,反正你的成本模型要重算。

这三件事的性质是一样的:你把一部分核心能力外包给了一个你无法控制的时间表。

大多数团队的反应是”到时候再说”。但真正痛苦的不是切换本身,而是切换时的无知——你不知道新模型在你的场景上表现如何,因为你从来没有建立过衡量”表现”的基线。

这篇文章讲怎么提前六个月把这个坑填上。

第一步:建立模型抽象层(一次投入,长期受益)

最基础的防护是:业务代码里不允许出现模型名。

❌ 错误:
const res = await client.chat("gpt-xxx-2025-06", messages)

✅ 正确:
const res = await llm.generate({
  role: "classify",           // 业务角色,不是模型名
  input: text,
  schema: TicketSchema,
  budget: { maxTokens: 500 }
})

所有模型选择集中在配置层:

roles:
  classify:
    primary: model-a
    fallback: model-b
    params: { temperature: 0, maxTokens: 200 }
  long_summary:
    primary: model-c
    fallback: model-a

抽象层的价值不只是”方便换模型”,更在于它强迫你把散落各处的隐式参数显式化:超时、重试次数、温度、max tokens、结构化输出 schema。这些参数平时散在代码里,迁移时没人记得住。

踩坑记录:抽象层要覆盖的不只是文本生成。嵌入模型、重排序模型、语音转写、图像生成,每一个都有下架风险,且往往被遗漏。嵌入模型的下架是最致命的——因为它意味着整个向量库要重建。

第二步:建立回归基线,而不是等出事再测

没有基线的迁移是赌博。基线应该包含三样东西:

1. 冻结的测试集(golden set)

从真实流量里采样 200–500 条,覆盖:

  • 典型样本(70%)
  • 边界样本:超长输入、空输入、多语言混杂、含特殊格式(20%)
  • 历史事故样本:曾经出过错的那批(10%,最有价值)

这份数据要冻结版本,永久保留。每次评估都跑同一份,指标才可比。

2. 自动评估指标

按任务类型定义:

  • 分类/抽取:准确率、字段完整率、schema 合法率
  • 生成:长度分布、关键词覆盖、事实一致性(用另一个模型核对)
  • Agent 任务:成功率、平均轮次、平均 token 消耗、失败模式分布

3. 固化的人工评分采样

自动指标抓不到”读起来怪不怪”。每次评估固定抽 30 条人工盲评,累积下来就是一份”体感差异”的长期记录。

关键做法:这套基线在平时就要跑。每周跑一次,记录指标。这样当厂商宣布升级时,你能立刻看出”新版本在这周的变化是正常的还是异常的”。

第三步:双写验证(多花 20% 成本,换确定性)

真正要切换前,做一件事:把线上流量同时发给新旧两个模型,只采纳旧模型的结果。

请求 → [采样 10%]
     → 主模型(结果返回给用户)
     → 影子模型(结果只记录,不返回)
     → 对比日志(差异统计 + 样本留存)

这一步的价值是全方位的:

  • 理论上”应该通过”的测试集,实践中总有盲区。影子流量能覆盖真实分布。
  • 你能看到延迟差异:新模型可能更准但慢 800ms。
  • 你能看到成本差异:新模型平均输出更长,成本反而更高。
  • 你能看到格式遵循度:schema 合法率是否下降。

运行一周左右,你会有一份足够支撑决策的数据。这比任何跑分表都可靠。

第四步:灰度切换与回滚预案

有了信心,仍然要逐步切换:

第 1 天:5% 流量
第 2 天:20%
第 3–4 天:50%
第 5 天:100%

每次放量前检查四个指标:成功率、延迟 P95、成本、用户投诉/转人工率。

必须有的回滚开关:一个配置项,能在 1 分钟内把所有流量切回旧模型。在模型厂商宣布下架的场景里,旧模型可能已经不可用,回滚目标应该是”上一个验证过的备选模型”,而不是”刚下线的那个”。

现实中的做法是永远保持至少两个可用供应商在配置里,哪怕其中一个只承担 0% 流量。它为的是在下架公告出现的那天,你不是从零开始。

一个时间线模板

假设今天收到厂商通知:模型将在 6 个月后下线。

时间点动作
第 1 周确认通知细节,评估影响范围(哪些角色在用)
第 2 周在候选模型上跑冻结基线,得到初步对比
第 3–4 周修正提示词 / schema(通常要微调,不同模型对提示词敏感度不同)
第 2 月影子流量双写,收集真实分布数据
第 3 月灰度 5% → 50%
第 4 月全量,观察稳定性
第 5 月清理旧模型依赖,更新文档
第 6 月下线缓冲,处理遗留

关键洞察:真正花时间的不是”换模型”,是重新调提示词。不同模型对 system prompt 的敏感点差异很大,一套在 A 上效果极好的提示词,在 B 上可能完全失效。这一段至少预留 2–4 周。

三类最容易被忽略的连带影响

1. 嵌入模型的向量不兼容。 换嵌入模型 = 向量空间变了 = 旧向量全部失效 = 要重建整个索引。如果知识库很大,重建可能要几天。迁移计划里必须单列这一项,而且要提前跑,不能留到最后。

2. 微调/蒸馏产物的时效。 如果你的小模型是用旗舰模型蒸馏出来的,教师模型换了,蒸馏数据的分布就变了。是否需要重训?答案通常是”要”,这也意味着评估集要重跑。

3. 成本模型的假设变了。 新模型可能更便宜但输出更长,也可能更贵但轮次更少。不要用”每百万 token 单价”直接换算,要用”每完成一个任务的成本”重算。

结语

模型依赖是一种新的基础设施依赖,它的更新周期比操作系统快得多,通知期却短得多。

能在这件事上活得好的人,不是预测得更准的人,而是准备得更早的人:有抽象层、有基线、有备选供应商、有灰度机制。

这四样东西加起来,成本大概是一个工程师两周的时间。而一次没准备的模型下架,代价可能是产品停摆三天。

📤 分享到