批量接口能省一半钱,但 11 种场景真的不能用
Batch API 半价的诱惑很大,但它不是异步队列的替代品。本文说清批量接口的真实成本模型、适用边界,以及踩上去代价很高的那些坑。
主流模型厂商的批量接口,价格通常是实时调用的 50%。这个折扣足够大,以至于很多团队一看到” nightly 任务""离线处理”就想往上搬。
但把批量接口当成”便宜的异步队列”用,是 2026 年最常见的成本优化翻车方式。省下的钱,经常被重跑、超时和补偿逻辑吃掉。
先搞清楚它到底是什么
批量接口的本质不是”异步调用”,而是”提交作业”。区别在于:
- 异步调用:你提交一个请求,它最终给你结果。
- 提交作业:你把一堆请求打成文件,上传,等系统在某个时候处理完,再下载结果文件。
这意味着它的几个特性是无法绕过的:
- 完成时间不保证,官方通常承诺”24 小时内”,实际常见是几十分钟到几小时。
- 失败是整批的,而不是逐条的。一条格式错误可能让整批被拒。
- 不保证顺序,结果按 custom_id 匹配,不是按顺序返回。
- 不能中途修改,提交后无法追加或取消单条。
理解这四点,适用边界就出来了。
可以放心用的场景
- 夜间批量生成内容:商品描述、SEO 落地页、邮件模板。第二天上班前看结果,迟一小时无感。
- 大规模离线标注:给 20 万条客服记录打分类标签、情感极性。
- 存量数据回填:给历史文档生成摘要、打 tag、算 embedding。
- A/B 实验的线上评测:一次性跑几千条 prompt 对比两个版本。
- 长文档批量抽取:合同、发票、研报的结构化字段提取。
共同点:没有人在等,而且能以”批”为单位重跑。
这 11 种场景别用
- 用户请求链路里的任何一环。哪怕你认为”用户不急”,24 小时的 P99 也是不可接受的。
- 需要靠前序结果决定后续请求的任务。批量作业不能中途读取结果,多步 Agent 流程必须实时。
- 失败后需要人工判断再重试的流程。批量重试只能整批重放,成本翻倍。
- 有严格时效的业务(日报、盘前数据、实时风控)。
- 第一批就要验证效果的探索期任务。探索阶段需要快速迭代 prompt,批量接口的单次周转成本太高。
- 单次请求量小于几百条的零散任务。省下的钱抵不上下载、校验、合并的工程量。
- 需要图片输入且格式严格受限的场景。批量接口对多模态输入的支持通常晚于实时接口,且限制更多。
- 需要流式输出的交互式应用。
- 涉及工具调用/函数调用的复杂流程。批量接口对 tool use 的支持在各家平台上差异很大,坑多。
- 需要严格顺序保证的下游任务。结果乱序,合并逻辑必须自己写对。
- 有合规要求”请求实时审计”的场景。批量作业的日志粒度通常更粗。
成本账要算全
半价只是 API 部分。完整成本要加上:
- 编排成本:生成 JSONL、上传、轮询、下载、校验、合并。一个可靠的批量管道,开发约 2–3 天。
- 重跑成本:整批失败重跑时,已成功的部分也要重付。
- 存储成本:输入输出文件在对象存储里的留存。
- 机会成本:从提交到拿到结果的几小时里,下游任务全部阻塞。
我们的经验值:月调用量低于 50 万条 token 的任务,批量接口的净收益微乎其微,因为编排成本摊不开。真正的拐点在每月千万 token 以上。
一个实用的架构
我们最终采用的模式是双通道:
请求进来 → 判断是否"可延迟"(显式标记)
├─ 否 → 实时接口
└─ 是 → 写入待批队列
↓ (每小时聚合)
生成 JSONL → 提交批量作业
↓
下载结果 → 校验 → 写回业务表 → 通知
关键设计点:
- “可延迟”必须是显式标记,不能靠启发式判断。由调用方声明,而不是中间件猜。
- 每条请求带
custom_id,保证结果能匹配回原始请求;ID 要唯一且可追溯。 - 失败单条重试,而不是整批重放。下载结果后,逐条对齐,只把缺失的(
custom_id没回来的)重新投递——最好走实时接口,因为这时候量已经很小了。 - 输入文件按 5 万条一批切分。批次太大,一次失败损失太大;批次太小,提交次数多,管理成本上升。
- 幂等写入。结果回来后按
custom_idupsert,重复执行不会污染数据。
一个真实的收益
某电商的内容团队,每月生成 40 万条商品卖点描述。改造前全部走实时接口,月成本约 1.4 万。改走批量通道后:
- API 成本降到 7000;
- 编排管道开发花了 2.5 天,维护成本每月约 2 小时;
- 因为不再需要为峰值流量预留并发配额,实时通道的配额费也省了一部分。
净省约 45%,三个月回本。
但如果这个团队每月只有 2 万条,省下的 300 块钱根本不值得投入两天开发。批量接口是规模游戏,不到规模就别玩。
一句话总结
判断标准只有一条:如果有人在这条链路末端等结果,就别用批量接口。 剩下的,算清编排成本再决定。