提示缓存和微调谁更省钱?先找出「每次都变的那个变量」

📅 2026/11/19 ✍️ 小文 📖 约 1 分钟

两个技术都在降本,作用点却完全不同:缓存省重复输入,微调省提示词长度。本文给出一张决策表、两种临界点算法,以及一个可组合的混合方案。

「该做提示缓存还是微调?」这个问题本身有问题——它们不在同一层:缓存是传输层优化,微调是模型层优化。正确的问法是:你的调用里,什么稳定不变,什么每次都变?

一、两者省的东西不同

提示缓存省的是:完全相同的输入前缀被重复处理。 微调省的是:为了约束输出而每次必带的长提示词、示例和格式说明。

一个客服 Agent 每次请求带 4000 token 的系统提示、工具定义和 10 个 few-shot 示例——每次都一样,是缓存的天然场景。但若其中 3000 token 是「教模型怎么说」,微调后就能删掉。两者通常该同时做:先微调删掉可学习部分,剩下的稳定前缀走缓存。

二、决策表

你的情况优先选
提示长且固定、调用频繁提示缓存
提示长是因为 few-shot 示例微调
需要一致的输出格式或语气微调
要注入大量业务知识都不是,用 RAG
输入每次都不同(长文档)缓存无效,考虑批处理
调用量很小都不做

最后一行很重要:日均几百次调用,两项优化省下的钱都覆盖不了工程投入。

三、算临界点

缓存:门槛是固定前缀几百 token 以上,且短时间内被反复使用(缓存有存活时间,低频会大批未命中)。方法:导出近一周请求按前缀哈希分组,看前 10 个前缀覆盖多少调用量——集中则收益大。

微调:

年省 = 可删 token × 调用量 × 输入单价 × 365
      - (标注 + 训练 + 评估 + 版本维护)

最后一项最易被低估:微调最大的隐形成本不是训练,而是每次业务变化都要重新准备数据、评估、上线。规则每月在变,微调就是负债。

四、三个常见误判

以为缓存能省输出 token。 缓存通常只作用于输入前缀,输出全额计费。成本大头在长回答或思维链时,缓存帮助有限。

以为微调能教新知识。 微调擅长风格、格式、任务模式,不擅长记事实;产品参数应该用 RAG,硬塞会导致模型自信地编造。

忽略缓存的稳定性要求。 前缀里塞时间戳、请求 ID、动态排序结果,命中率就是零。缓存的敌人是提示词里的动态内容。

五、一个混合方案

  1. 提示词分层:不可变部分(身份、格式、工具定义)放最前,可变部分(检索结果、用户输入)放最后。
  2. 微调收敛风格:把 few-shot、语气规范、格式要求训进模型,提示词瘦身。
  3. 剩余稳定前缀走缓存。
  4. 监控两项指标:缓存命中率、平均输入 token 数——前者看缓存健康度,后者验证微调是否真的瘦身。

六、先后顺序

只能做一个就先做缓存:改动小、可逆、见效快,不需要数据和评估体系。微调放第二阶段,前提是任务形态稳定、有足够真实样本、已建立评测集。没有评测集的微调是赌博,因为无法判断新模型在老场景上是否退化。

结语

缓存和微调回答的是两个问题:「哪些重复不必重算」和「哪些教导不必每次重复」。分开回答,成本结构自然清楚。

📤 分享到