同一个问题问五次,答案全不一样:温度、种子与可复现性的真相
想让 AI 输出稳定可复现,只调温度是不够的。本文解释 GPU 计算、动态批处理与浮点累加为什么让 temperature=0 也无法保证一致,并给出三种工程解法。
“我把 temperature 设成 0 了,为什么同一个输入还是会出不同结果?”
这是 2026 年仍被高频问到的问题。答案是:温度只控制采样,不控制计算。 而模型输出的不确定性,来自三个层次。
层次一:采样(可控)
模型的原始输出是一个概率分布。温度、top-p、top-k 决定从这个分布里怎么选词。
temperature = 0 的含义是”永远选概率最大的那个”,也就是贪心解码。理论上完全确定。这一层确实被消除了。
但它只解决了 20% 的问题。
层次二:浮点计算的非确定性(不可控)
这是核心原因。
GPU 上做矩阵乘法时,为了提高并行效率,会把求和拆成多个部分并行计算,最后再合并。浮点加法不满足结合律:
(0.1 + 0.2) + 0.3 = 0.6000000000000001
0.1 + (0.2 + 0.3) = 0.6
在 70B 模型的数千层计算里,这种误差会累积。更关键的是:每次运行的并行划分方式可能不同。
推理框架(vLLM、SGLang、TensorRT-LLM)都采用动态批处理:把同时在线的多个请求打包成一批计算。批里有没有其他请求、批的大小是多少,会改变矩阵的形状与切分方式,从而改变累加顺序。
于是:
- 你一个人测试时,结果稳定;
- 上线后并发一上来,同一请求的结果开始飘。
这不是 Bug,是性能和确定性的固有取舍。 关闭动态批处理可以换来确定性,代价是吞吐掉一半以上。
层次三:模型版本与后端的漂移(部分可控)
- 厂商静默更新模型(
gpt-x-2026-03→ 内部小版本),接口不变,行为变了; - 量化版本不同(FP16 和 FP8 的同一模型,输出会有差异);
- 硬件不同(H100 与 A100、甚至驱动版本),浮点行为不同。
这一层只能靠锁定版本号 + 锁定量化精度 + 锁定硬件来缓解。
一个实际观察
我们做过一个测试:1700 条结构化抽取任务,temperature = 0,串行执行,同一模型。
- 单条重复 10 次:完全一致率 97.3%;
- 并发 32 请求下重复:完全一致率 81.5%。
差异全部出现在少数长输出(超过 500 token)的样本上。短输出(不到 100 token)在并发下也基本稳定。原因很直观:输出越长,累积的浮点误差越多,最终翻转某个 token 的概率越高。而翻转一个 token,可能只是因为两个候选词的 logit 差距极小。
所以”不可复现”不是一个开关,是一个概率分布。 越长的输出、越高的并发,翻转概率越高。
三种工程解法
解法一:用结构化约束替代自由生成
如果你的场景需要确定性(比如分类、抽取、路由),别指望采样。用 JSON Schema 强约束输出,把”生成一段话”改成”选择枚举值”。
选择枚举值时,候选的 logit 差距通常远大于浮点误差,翻转概率极低。
解法二:加缓存层,而不是追求重算一致
很多”需要可复现”的需求,本质是”同一个输入不要给我不同答案”。这个需求用缓存解决,比用解码参数解决可靠得多:
key = hash(model_version + system_prompt + messages + params)
value = 完整输出
命中缓存就返回旧结果,不命中才调用。这样:
- 用户体验是确定性的;
- 成本下降;
- 换模型时,改 key 的前缀即可让旧缓存失效。
这是性价比最高的方案。语义缓存要谨慎——相似≠相同,在需要严格一致的场景会引入新问题。
解法三:把校验做在输出之后
对于必须有确定性结论的场景(如金额计算、日期解析),不要让模型直接给最终答案。
改成:模型输出结构化中间结果 → 代码层校验与归一化 → 校验失败则重试一次 → 仍失败则降级。
这比追求”模型永远输出正确格式”现实得多。接受模型的不确定性,然后用工程手段收口。
顺带说一个反例
有人为了确定性,把 temperature 设成 0 之后又加了固定的 seed 参数,以为万无一失。
需要提醒:目前主流 API 的 seed 参数,只承诺”尽力而为”,不保证跨版本、跨硬件可复现。它可以减少同一天内同一后端的波动,但不是契约。别在关键业务上依赖它。
小结
| 需求 | 该做什么 |
|---|---|
| 分类/抽取要稳定 | 用枚举 + JSON Schema,别自由生成 |
| 同输入要同答案 | 用缓存,别追重算一致 |
| 关键数值要可靠 | 模型出中间结果,代码做校验 |
| 结果可追责 | 记录 model + 参数 + 原始输出全文 |
最后一条经常被忽略:只要把每次调用的完整输入输出存下来,“不可复现”这个说法就不成立了——你能回放每一次具体发生了什么。多数时候,这就够了。