DeepSeek、Qwen、Kimi、GLM 四家国产模型实战分工:同一批任务盲测结果

📅 2026/11/22 ✍️ 小文 📖 约 1 分钟

不比较抽象排名,而是在六类真实任务上做盲测:中文长文写作、代码生成、结构化抽取、多轮客服、长文档问答、数学与逻辑。结果证明没有全能冠军,但有明确的场景分工。

测评设计

为什么做这个测试:团队在选型时发现,各家公开榜单的排序与自己的实际体验偏差很大。原因通常有两个——榜单任务与业务任务不同构;单次投票无法反映稳定性。

方法:

  • 六类任务,每类 40 条真实业务样本(脱敏后使用),共 240 条
  • 四条候选模型,统一参数(temperature 0.3,关闭联网,固定系统提示词)
  • 每条样本用两个模型交叉打分 + 一名人工复核分歧项
  • 记录两项指标:质量分(1~5)与一次通过率(不需要人工修改即可直接用)

模型代号简化为 A、B、C、D,先盲测,最后才揭示。

任务一:中文长文写作

样本:1200~2000 字的产品说明、行业分析、内部通告。

模型质量分一次通过率典型问题
A4.372%偶有”套话开头”,但结构稳
B4.061%术语汉化不彻底,夹英文
C3.644%段落衔接生硬,喜欢罗列
D3.438%结构清晰但内容空,缺具体细节

结论:长文写作对模型的”中文语感”要求极高,排名与代码能力基本无关。这一档差距最大,值得专门选型。

任务二:代码生成

样本:真实仓库中的 PR 级任务(补函数、修 bug、写单测),有自动化测试判定。

模型测试通过率平均返工轮次
D81%1.4
A78%1.6
B74%1.9
C63%2.7

结论:代码档的差距主要体现在错误类型上——D 和 A 的错误多为”少考虑边界”,C 的错误中有明显比例是”编造不存在的 API”。后者对开发者的伤害大得多,因为会浪费大量调试时间。

任务三:结构化抽取

样本:合同字段、简历、发票、会议记录 → 严格 JSON schema。指标是字段级准确率与 JSON 合法性。

模型字段准确率JSON 合法率
B94.2%99.5%
D93.8%99.8%
A92.1%99.0%
C89.4%97.2%

结论:这一档所有模型都够用,差距不构成选型理由。真正该关注的是长文档(超过 2 万字)时的表现——四家在超过 3 万字后准确率都有明显下降,而下降幅度差别比短文本大得多。

任务四:多轮客服对话

样本:20 轮左右的真实客服场景,含指代消解、政策查询、情绪安抚、越权请求拒绝。指标是人工评分的”可用回复率”。

模型可用率越权承诺率(越低越好)
A88%3%
C85%2%
B81%6%
D79%5%

结论:多轮场景的关键指标不是”答得好不好”,而是不出错。越权承诺(答应了不该答应的退款、赔付)的代价是单次几百到几千元。这一档 B 和 D 的越权率明显偏高,需要用更强的系统提示约束。

任务五:长文档问答

样本:50~200 页的技术手册与年报,问题需要跨章节综合。

模型跨章节正确率引用准确性
C86%91%
B84%89%
D80%84%
A78%82%

结论:长上下文能力在文档场景中直接决定成败。引用准确性比正确率更值得关注——错误的引用会让人误以为有据可依,比”不知道”危险。

任务六:数学与逻辑

样本:需要多步推理的业务计算题(定价组合、排期冲突、权限推导)。

模型正确率
D89%
A85%
B72%
C68%

结论:差距在需要 4 步以上推理时急剧放大。三家在 2~3 步时几乎打平,第 4 步开始分化。这说明”简单逻辑题分数接近”不能作为选型依据,一定要用你业务里最难的那道题测。

揭示:模型对应关系

  • A = Qwen 系列(当前主力版本)
  • B = GLM 系列
  • C = Kimi 系列
  • D = DeepSeek 系列

分工建议

基于结果,我们的实际配置是:

场景首选备选
中文长文写作QwenGLM
代码生成与修复DeepSeekQwen
结构化抽取GLM / DeepSeek—
客服对话QwenKimi
长文档问答KimiGLM
复杂计算与逻辑DeepSeekQwen

三点方法论提醒

  1. 单次测试会骗你。 同一个模型跑同一道题,正确率在 80% 附近的题,重复十次会有三四次不同结果。我们每条样本跑两次才统计。
  2. 价格差 3 倍时,质量差 5% 通常不值得。 我们最终在客服场景选了稍贵但越权率低的模型,因为单次事故成本高;而在长文场景选了更便宜的,因为有人工复核环节。
  3. 每季度重测一次。 2026 年的迭代节奏是三个月一代,今天的结论半年后就可能反转。但测试集要稳定,否则你测的是”题目难度”不是”模型能力”。

最后:这四家目前在多数场景都”够用”。真正的竞争已经从”谁更聪明”转向”谁在你的垂直场景里更可靠、更便宜、更可控”。选型应该基于你的失败成本,而不是榜单排名。

📤 分享到