提示缓存和微调谁更省钱?先找出「每次都变的那个变量」
两个技术都在降本,作用点却完全不同:缓存省重复输入,微调省提示词长度。本文给出一张决策表、两种临界点算法,以及一个可组合的混合方案。
「该做提示缓存还是微调?」这个问题本身有问题——它们不在同一层:缓存是传输层优化,微调是模型层优化。正确的问法是:你的调用里,什么稳定不变,什么每次都变?
一、两者省的东西不同
提示缓存省的是:完全相同的输入前缀被重复处理。 微调省的是:为了约束输出而每次必带的长提示词、示例和格式说明。
一个客服 Agent 每次请求带 4000 token 的系统提示、工具定义和 10 个 few-shot 示例——每次都一样,是缓存的天然场景。但若其中 3000 token 是「教模型怎么说」,微调后就能删掉。两者通常该同时做:先微调删掉可学习部分,剩下的稳定前缀走缓存。
二、决策表
| 你的情况 | 优先选 |
|---|---|
| 提示长且固定、调用频繁 | 提示缓存 |
| 提示长是因为 few-shot 示例 | 微调 |
| 需要一致的输出格式或语气 | 微调 |
| 要注入大量业务知识 | 都不是,用 RAG |
| 输入每次都不同(长文档) | 缓存无效,考虑批处理 |
| 调用量很小 | 都不做 |
最后一行很重要:日均几百次调用,两项优化省下的钱都覆盖不了工程投入。
三、算临界点
缓存:门槛是固定前缀几百 token 以上,且短时间内被反复使用(缓存有存活时间,低频会大批未命中)。方法:导出近一周请求按前缀哈希分组,看前 10 个前缀覆盖多少调用量——集中则收益大。
微调:
年省 = 可删 token × 调用量 × 输入单价 × 365
- (标注 + 训练 + 评估 + 版本维护)
最后一项最易被低估:微调最大的隐形成本不是训练,而是每次业务变化都要重新准备数据、评估、上线。规则每月在变,微调就是负债。
四、三个常见误判
以为缓存能省输出 token。 缓存通常只作用于输入前缀,输出全额计费。成本大头在长回答或思维链时,缓存帮助有限。
以为微调能教新知识。 微调擅长风格、格式、任务模式,不擅长记事实;产品参数应该用 RAG,硬塞会导致模型自信地编造。
忽略缓存的稳定性要求。 前缀里塞时间戳、请求 ID、动态排序结果,命中率就是零。缓存的敌人是提示词里的动态内容。
五、一个混合方案
- 提示词分层:不可变部分(身份、格式、工具定义)放最前,可变部分(检索结果、用户输入)放最后。
- 微调收敛风格:把 few-shot、语气规范、格式要求训进模型,提示词瘦身。
- 剩余稳定前缀走缓存。
- 监控两项指标:缓存命中率、平均输入 token 数——前者看缓存健康度,后者验证微调是否真的瘦身。
六、先后顺序
只能做一个就先做缓存:改动小、可逆、见效快,不需要数据和评估体系。微调放第二阶段,前提是任务形态稳定、有足够真实样本、已建立评测集。没有评测集的微调是赌博,因为无法判断新模型在老场景上是否退化。
结语
缓存和微调回答的是两个问题:「哪些重复不必重算」和「哪些教导不必每次重复」。分开回答,成本结构自然清楚。