OpenAI、Anthropic、Google 的中文能力：一场刻意设计的横向测试

为什么中文评测必须自己动手

厂商发布的基准大多偏向英文，中文部分也以通用知识问答为主。但中文的真实难点在别处：一词多义、省略主语、隐喻、书面语与口语断层、数字与单位习惯。

所以重点不是”谁第一”，而是怎么设计一套不会被刷分的中文测试。

测试集设计：三类维度，拒绝通用题

三类题目共 45 题，每类 15 题，避免答案可被记忆：

维度一：语言精确性

• 古汉语与现代汉语的含义漂移（如”妻子""可怜”的古今异义）
• 近义词细微差别（“改进/改善/改良”各配什么宾语）
• 成语误用识别（判断用得对不对并解释）

维度二：中文语境理解

• 含省略主语的对话，判断”他”指谁
• 带讽刺与反语的评论，判断真实态度
• 政策文件式长句的拆解与转述
• 方言口语书面化

维度三：输出控制

• 按指定字数、文体（文言/公文体/口语）改写
• 严格 JSON 或表格输出，含中文字段
• 数字与单位处理（万/亿转换、金额大写、日期歧义）

评分不看”感觉”，按可验证的判定点打分：是否包含关键要素、是否落入预设陷阱、格式是否合规。

三种能力画像

测试下来，三家模型的差异更像风格差异而非水平差异：

A 类（偏严谨）：古汉语、成语辨析、政策长句明显占优，还会主动说明歧义。代价是表达偏”翻译腔”。

B 类（偏自然）：中文口语与社交语境抠得最好，简繁、方言、新词都稳。但需精确格式输出时偶尔”自由发挥”。

C 类（偏均衡）：各项中上，长文结构化与表格输出最稳。古汉语题偶有过度解释。

注意：这不是排名，而是适配建议。选模型该问的不是”哪个强”，而是”我最常让它做哪类活”。

三个所有人都踩的坑

坑一：数字陷阱 “营收从 1.2 亿降到 8000 万，降幅多少？“——部分模型算成 33%，实际是 33.3%（以原值为基数）。这类”基数容易搞错”的题，错误率最高。

坑二：单位与量词 “增加了三倍”和”增加到三倍”在中文里是两回事。模型经常顺手写对，但不理解为什么，一进入长文就出错。

坑三：格式幻觉 要求”输出 5 行表格”，常出现 4 行或 6 行。这是对约束的服从度问题，生产环境里比知识错误更致命。

可复用的测试方法

1. 每类 10~15 题，题量再多收益递减
2. 每个判定点必须可自动检查（关键词、正则、JSON 解析），否则只是主观印象
3. 每题跑 3 次，看稳定性——答案漂移比一次答错更值得警惕
4. 把错题沉淀成回归集，模型升级时重跑
5. 记录成本与延迟，同样答对时，便宜且快的才是默认选项

结论

2026 年的中文能力差距，已不是”能不能用”，而是”用在哪最合适”。没有最好的中文模型，只有最贴合你任务分布的那一个。

与其争论排名，不如花一天做一套自己的 45 题测试集——它会在未来两年持续帮你做决策。