批量接口能省一半钱,但 11 种场景真的不能用

📅 2026/11/15 ✍️ 小文 📖 约 1 分钟

Batch API 半价的诱惑很大,但它不是异步队列的替代品。本文说清批量接口的真实成本模型、适用边界,以及踩上去代价很高的那些坑。

主流模型厂商的批量接口,价格通常是实时调用的 50%。这个折扣足够大,以至于很多团队一看到” nightly 任务""离线处理”就想往上搬。

但把批量接口当成”便宜的异步队列”用,是 2026 年最常见的成本优化翻车方式。省下的钱,经常被重跑、超时和补偿逻辑吃掉。

先搞清楚它到底是什么

批量接口的本质不是”异步调用”,而是”提交作业”。区别在于:

  • 异步调用:你提交一个请求,它最终给你结果。
  • 提交作业:你把一堆请求打成文件,上传,等系统在某个时候处理完,再下载结果文件。

这意味着它的几个特性是无法绕过的:

  1. 完成时间不保证,官方通常承诺”24 小时内”,实际常见是几十分钟到几小时。
  2. 失败是整批的,而不是逐条的。一条格式错误可能让整批被拒。
  3. 不保证顺序,结果按 custom_id 匹配,不是按顺序返回。
  4. 不能中途修改,提交后无法追加或取消单条。

理解这四点,适用边界就出来了。

可以放心用的场景

  • 夜间批量生成内容:商品描述、SEO 落地页、邮件模板。第二天上班前看结果,迟一小时无感。
  • 大规模离线标注:给 20 万条客服记录打分类标签、情感极性。
  • 存量数据回填:给历史文档生成摘要、打 tag、算 embedding。
  • A/B 实验的线上评测:一次性跑几千条 prompt 对比两个版本。
  • 长文档批量抽取:合同、发票、研报的结构化字段提取。

共同点:没有人在等,而且能以”批”为单位重跑。

这 11 种场景别用

  1. 用户请求链路里的任何一环。哪怕你认为”用户不急”,24 小时的 P99 也是不可接受的。
  2. 需要靠前序结果决定后续请求的任务。批量作业不能中途读取结果,多步 Agent 流程必须实时。
  3. 失败后需要人工判断再重试的流程。批量重试只能整批重放,成本翻倍。
  4. 有严格时效的业务(日报、盘前数据、实时风控)。
  5. 第一批就要验证效果的探索期任务。探索阶段需要快速迭代 prompt,批量接口的单次周转成本太高。
  6. 单次请求量小于几百条的零散任务。省下的钱抵不上下载、校验、合并的工程量。
  7. 需要图片输入且格式严格受限的场景。批量接口对多模态输入的支持通常晚于实时接口,且限制更多。
  8. 需要流式输出的交互式应用。
  9. 涉及工具调用/函数调用的复杂流程。批量接口对 tool use 的支持在各家平台上差异很大,坑多。
  10. 需要严格顺序保证的下游任务。结果乱序,合并逻辑必须自己写对。
  11. 有合规要求”请求实时审计”的场景。批量作业的日志粒度通常更粗。

成本账要算全

半价只是 API 部分。完整成本要加上:

  • 编排成本:生成 JSONL、上传、轮询、下载、校验、合并。一个可靠的批量管道,开发约 2–3 天。
  • 重跑成本:整批失败重跑时,已成功的部分也要重付。
  • 存储成本:输入输出文件在对象存储里的留存。
  • 机会成本:从提交到拿到结果的几小时里,下游任务全部阻塞。

我们的经验值:月调用量低于 50 万条 token 的任务,批量接口的净收益微乎其微,因为编排成本摊不开。真正的拐点在每月千万 token 以上。

一个实用的架构

我们最终采用的模式是双通道:

请求进来 → 判断是否"可延迟"(显式标记)
  ├─ 否 → 实时接口
  └─ 是 → 写入待批队列
              ↓ (每小时聚合)
          生成 JSONL → 提交批量作业
              ↓
          下载结果 → 校验 → 写回业务表 → 通知

关键设计点:

  • “可延迟”必须是显式标记,不能靠启发式判断。由调用方声明,而不是中间件猜。
  • 每条请求带 custom_id,保证结果能匹配回原始请求;ID 要唯一且可追溯。
  • 失败单条重试,而不是整批重放。下载结果后,逐条对齐,只把缺失的(custom_id 没回来的)重新投递——最好走实时接口,因为这时候量已经很小了。
  • 输入文件按 5 万条一批切分。批次太大,一次失败损失太大;批次太小,提交次数多,管理成本上升。
  • 幂等写入。结果回来后按 custom_id upsert,重复执行不会污染数据。

一个真实的收益

某电商的内容团队,每月生成 40 万条商品卖点描述。改造前全部走实时接口,月成本约 1.4 万。改走批量通道后:

  • API 成本降到 7000;
  • 编排管道开发花了 2.5 天,维护成本每月约 2 小时;
  • 因为不再需要为峰值流量预留并发配额,实时通道的配额费也省了一部分。

净省约 45%,三个月回本。

但如果这个团队每月只有 2 万条,省下的 300 块钱根本不值得投入两天开发。批量接口是规模游戏,不到规模就别玩。

一句话总结

判断标准只有一条:如果有人在这条链路末端等结果,就别用批量接口。 剩下的,算清编排成本再决定。

📤 分享到