中文比英文更贵?Tokenizer 分词差异如何悄悄抬高你的 API 账单

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

同样的意思,中文的 token 数常常是英文的 1.5–2 倍,但更麻烦的是分词颗粒度不均带来的成本波动与截断问题。本文实测对比、给出估算公式和三个优化手法。

一个市场团队做了双语投放,广告文案中文版和英文版内容完全对应。上线后财务发现,中文版本的 API 成本比英文高 70%,但因为中文版带来的转化也高,负责人一开始以为”就是量更大”。

实际上不是。把两边日志对齐后发现:中文请求的平均输入 token 是英文的 1.83 倍,输出 token 是 1.29 倍。量是一样的,纯粹是分词造成的。

一、为什么会这样

Token 不是字,也不是词,而是子词(subword)单元。英文的常见词大多落在 1 个 token 以内,technology、generation 这类词也常常只占 1 到 2 个 token。

中文的情况复杂得多:

  • 一个常用汉字通常是 1 个 token,但生僻字可能拆成 2 到 3 个字节级 token
  • 高频双字词(如”我们""可以”)有时能合并成 1 个 token
  • 中英混排、数字、标点、全角符号的边界处理经常产生额外 token

经验值:1000 个汉字大致对应 700 到 1100 个 token,具体取决于文本类型。文言文、专业术语、代码混排会明显偏高;口语化、高频词多的文本偏低。

而 1000 个英文单词通常对应 1300 到 1500 个 token——听起来英文更费,但请注意:表达同样的信息量,中文大约只需要五分之三的英文单词数。所以最终对比是中文在同等信息量下,token 数仍然偏多 30% 到 80%。

二、比平均值更麻烦的是”方差”

平均值只是第一层问题。更麻烦的是同一段文字内部的分词密度极不均匀:

  • 一段产品说明里混进一个型号 XR-7750B-Plus,可能瞬间吃掉 12 个 token
  • 一串身份证号、订单号、UUID,往往一比一按字节或数字切分,效率极低
  • 全角括号、中文引号、”——“这类符号在不同 tokenizer 下差异可达 2 到 3 倍

这导致一个结果:你的成本估算模型会系统性偏低。因为大多数人用”字数 × 0.7”来估算,而实际业务文本里往往混着大量编号、术语、表格数据。

三、给你一个可用的估算公式

不要凭感觉。落地时用这个流程:

  1. 从生产日志里随机抽 200 条真实输入
  2. 用目标模型的 tokenizer 实际计数(大多数 SDK 都能离线做;不能的话用 API 的计数接口)
  3. 算出 token / 字符数 的比值,取 P50 和 P90
  4. 用 P90 做预算,用 P50 做优化目标

举一个我们测过的例子(客服对话类文本,含订单号与商品名):

文本类型token/字符
纯中文口语对话0.62
中文 + 少量英文术语0.78
中文 + 订单号/型号/表格1.15
中英混排技术文档1.42

P50 是 0.78,P90 是 1.15。如果你按 0.7 做预算,遇到技术类咨询就会超支 60% 以上。

四、三个能立刻省钱的改法

1. 编号类数据先压缩再进模型。

订单号、UUID、时间戳这类东西,不要原样塞进去。可以:映射成短别名(ORD-001),或者干脆不进 prompt 只做引用。一个 32 位 UUID 在中文上下文里可能占 25 个以上 token,而”订单A”只占 3 个。如果 Agent 需要回填原始值,用工具调用去查,而不是带在 prompt 里。

2. 长上下文用英文写规则,用中文写内容。

系统提示与规则部分用英文(同样的规则英文 token 更省),业务内容和示例用中文。这在双语团队里几乎是零成本收益,规则部分通常能省 30%–40% 的 token。

3. 截断问题要单独防。

token 多带来一个隐性风险:输出被 max_tokens 截断的时间点比英文更早。中文输出被截断时经常出现半句话、JSON 不闭合,导致解析失败并触发重试——重试往往是成本超支的真正来源,比 token 单价影响大得多。

对策是:给输出设置「足够余量 + 结构化输出 + 截断检测」三件套。检测到 finish_reason 是长度限制时,不要无脑重试,而是先缩短要求或分段生成。

五、别踩的坑

  • 不要用字符数代替 token 做限流。 限流按字符数,等于给中文用户开了两倍额度,遇到攻击时很危险。
  • 不要为了省 token 牺牲可读性。 有人为了省成本把中文写成文言文或大量缩写,模型理解准确率会下降,最终成本反而更高。
  • 不要跨模型复用同一个估算系数。 不同厂商的 tokenizer 差异可以到 30%,换模型必须重新测。

六、一句话结论

在中文场景里,token 成本不是一个可以用”平均值”管理的量,它是一个有长尾、有方差、还会通过重试放大的量。先花半天把你自己业务的 token/字符分布测出来,比换一个便宜 20% 的模型更有价值——因为前者是永久性的,后者随时会被下一轮涨价抹平。

📤 分享到