DeepSeek、Qwen、Kimi、GLM 四家国产模型实战分工:同一批任务盲测结果
不比较抽象排名,而是在六类真实任务上做盲测:中文长文写作、代码生成、结构化抽取、多轮客服、长文档问答、数学与逻辑。结果证明没有全能冠军,但有明确的场景分工。
测评设计
为什么做这个测试:团队在选型时发现,各家公开榜单的排序与自己的实际体验偏差很大。原因通常有两个——榜单任务与业务任务不同构;单次投票无法反映稳定性。
方法:
- 六类任务,每类 40 条真实业务样本(脱敏后使用),共 240 条
- 四条候选模型,统一参数(temperature 0.3,关闭联网,固定系统提示词)
- 每条样本用两个模型交叉打分 + 一名人工复核分歧项
- 记录两项指标:质量分(1~5)与一次通过率(不需要人工修改即可直接用)
模型代号简化为 A、B、C、D,先盲测,最后才揭示。
任务一:中文长文写作
样本:1200~2000 字的产品说明、行业分析、内部通告。
| 模型 | 质量分 | 一次通过率 | 典型问题 |
|---|---|---|---|
| A | 4.3 | 72% | 偶有”套话开头”,但结构稳 |
| B | 4.0 | 61% | 术语汉化不彻底,夹英文 |
| C | 3.6 | 44% | 段落衔接生硬,喜欢罗列 |
| D | 3.4 | 38% | 结构清晰但内容空,缺具体细节 |
结论:长文写作对模型的”中文语感”要求极高,排名与代码能力基本无关。这一档差距最大,值得专门选型。
任务二:代码生成
样本:真实仓库中的 PR 级任务(补函数、修 bug、写单测),有自动化测试判定。
| 模型 | 测试通过率 | 平均返工轮次 |
|---|---|---|
| D | 81% | 1.4 |
| A | 78% | 1.6 |
| B | 74% | 1.9 |
| C | 63% | 2.7 |
结论:代码档的差距主要体现在错误类型上——D 和 A 的错误多为”少考虑边界”,C 的错误中有明显比例是”编造不存在的 API”。后者对开发者的伤害大得多,因为会浪费大量调试时间。
任务三:结构化抽取
样本:合同字段、简历、发票、会议记录 → 严格 JSON schema。指标是字段级准确率与 JSON 合法性。
| 模型 | 字段准确率 | JSON 合法率 |
|---|---|---|
| B | 94.2% | 99.5% |
| D | 93.8% | 99.8% |
| A | 92.1% | 99.0% |
| C | 89.4% | 97.2% |
结论:这一档所有模型都够用,差距不构成选型理由。真正该关注的是长文档(超过 2 万字)时的表现——四家在超过 3 万字后准确率都有明显下降,而下降幅度差别比短文本大得多。
任务四:多轮客服对话
样本:20 轮左右的真实客服场景,含指代消解、政策查询、情绪安抚、越权请求拒绝。指标是人工评分的”可用回复率”。
| 模型 | 可用率 | 越权承诺率(越低越好) |
|---|---|---|
| A | 88% | 3% |
| C | 85% | 2% |
| B | 81% | 6% |
| D | 79% | 5% |
结论:多轮场景的关键指标不是”答得好不好”,而是不出错。越权承诺(答应了不该答应的退款、赔付)的代价是单次几百到几千元。这一档 B 和 D 的越权率明显偏高,需要用更强的系统提示约束。
任务五:长文档问答
样本:50~200 页的技术手册与年报,问题需要跨章节综合。
| 模型 | 跨章节正确率 | 引用准确性 |
|---|---|---|
| C | 86% | 91% |
| B | 84% | 89% |
| D | 80% | 84% |
| A | 78% | 82% |
结论:长上下文能力在文档场景中直接决定成败。引用准确性比正确率更值得关注——错误的引用会让人误以为有据可依,比”不知道”危险。
任务六:数学与逻辑
样本:需要多步推理的业务计算题(定价组合、排期冲突、权限推导)。
| 模型 | 正确率 |
|---|---|
| D | 89% |
| A | 85% |
| B | 72% |
| C | 68% |
结论:差距在需要 4 步以上推理时急剧放大。三家在 2~3 步时几乎打平,第 4 步开始分化。这说明”简单逻辑题分数接近”不能作为选型依据,一定要用你业务里最难的那道题测。
揭示:模型对应关系
- A = Qwen 系列(当前主力版本)
- B = GLM 系列
- C = Kimi 系列
- D = DeepSeek 系列
分工建议
基于结果,我们的实际配置是:
| 场景 | 首选 | 备选 |
|---|---|---|
| 中文长文写作 | Qwen | GLM |
| 代码生成与修复 | DeepSeek | Qwen |
| 结构化抽取 | GLM / DeepSeek | — |
| 客服对话 | Qwen | Kimi |
| 长文档问答 | Kimi | GLM |
| 复杂计算与逻辑 | DeepSeek | Qwen |
三点方法论提醒
- 单次测试会骗你。 同一个模型跑同一道题,正确率在 80% 附近的题,重复十次会有三四次不同结果。我们每条样本跑两次才统计。
- 价格差 3 倍时,质量差 5% 通常不值得。 我们最终在客服场景选了稍贵但越权率低的模型,因为单次事故成本高;而在长文场景选了更便宜的,因为有人工复核环节。
- 每季度重测一次。 2026 年的迭代节奏是三个月一代,今天的结论半年后就可能反转。但测试集要稳定,否则你测的是”题目难度”不是”模型能力”。
最后:这四家目前在多数场景都”够用”。真正的竞争已经从”谁更聪明”转向”谁在你的垂直场景里更可靠、更便宜、更可控”。选型应该基于你的失败成本,而不是榜单排名。