ChatGPT、Claude、Gemini、DeepSeek四家深度研究功能实测:谁在编造引用
深度研究功能是2026年各家最卷的方向。本文用同一组12个研究问题横评四家产品,重点测引用可验证性、溯源精度和事实错误率,并给出场景化选择建议。
为什么这次不测”报告写得好不好”
深度研究(Deep Research)类功能已经过了”能不能写出一篇像样报告”的阶段。四家主流产品的报告结构、语言流畅度、段落组织都很接近——人类读者很难一眼分辨高下。
真正的分野在三个地方:
- 引用是否可验证——链接打不打得开、内容对不对得上。
- 论断是否有出处——哪些是搜到的,哪些是模型自己补的。
- 关键数字是否准确——尤其是需要多源交叉的统计数字。
所以本文的评测方法是:同一组 12 个研究问题,逐条核对报告中的每个引用和关键数字。这是个体力活,但比”读起来像是好报告”可靠得多。
测试设计与评分口径
12 个问题分为三组:
- A 组(4 个)事实密集型:需要具体数字和日期,如”某行业 2025 年全球出货量及三家主要厂商份额”。
- B 组(4 个)观点对比型:需要呈现多方立场,如”关于某项技术的争议,双方主要论据”。
- C 组(4 个)溯源陷阱型:故意含有误导性前提或冷门细节,用于检测是否会顺着错误前提编造证据。
评分三维度:
| 维度 | 定义 | 计算方式 |
|---|---|---|
| 引用有效率 | 链接可访问且内容与所述一致 | 有效引用数 / 总引用数 |
| 溯源准确率 | 论断能在其引用源中找到明确支撑 | 抽样 20 条论断人工核对 |
| 事实准确率 | 关键数字与权威源一致 | 每个数字逐条核对 |
实测结果
| 产品 | 引用有效率 | 溯源准确率 | 事实准确率 | 平均耗时 |
|---|---|---|---|---|
| ChatGPT | 89% | 84% | 86% | 6–10 分钟 |
| Claude | 92% | 88% | 88% | 8–14 分钟 |
| Gemini | 91% | 86% | 87% | 4–7 分钟 |
| DeepSeek | 84% | 79% | 81% | 3–5 分钟 |
数据是 12 个问题、共 470 余条引用的核对结果,波动区间大约 ±4 个百分点,不足以形成碾压性优势的结论。四家的差距在一个量级内,但失败模式的差异非常大——这才是关键。
失败模式画像:不同的”编造方式”
ChatGPT:结构最规范,但爱引”二手信息”
报告结构是四家里最像咨询交付物的:有摘要、有分层、有小结。引用密度高(平均每 300 字一条),格式统一。
问题在于引用偏好:它倾向于引用二手聚合类内容和新闻转述,而不是一手数据源。在事实密集型问题上,这导致数字”看起来都有出处”,但出处本身是别人转述错了的版本。A 组 4 个问题里,有 2 个出现了”引用源正确但数字已被二次加工”的情况。
C 组溯源陷阱测试里,它有一次顺着错误前提完成了整段论述,引用了三篇内容相近的文章——但三篇都源自同一个错误源。这是典型的回音室效应。
Claude:溯源最严谨,但有时”过于克制”
Claude 的引用有效率与溯源准确率最高。它的一个显著特点是:不确定时会明说。在 C 组问题里,它是唯一一个明确写出”该前提在检索到的资料中未能找到支撑”的产品。
代价是——报告中会出现较多”资料不足”的表述,显得不够果断。如果用户要的是一份可以直接拿去汇报的报告,这种克制的风格需要额外加工。
另一个观察:Claude 的耗时最长,但耗时与质量的相关性并不明显——有两次在 12 分钟以上的运行里,报告质量与 8 分钟的相当。
Gemini:速度最快,生态联动最好
4–7 分钟的耗时明显领先。报告风格偏向”要点清单”,读起来清晰但不够连贯。
引用有效性不错,但有一个特定问题:对视频、播客类内容的引用质量偏低。当回答涉及 YouTube 演讲或播客访谈时,引用往往指向视频页面而不是具体时间点,导致”可验证但验证成本极高”。
事实准确率在 B 组(观点对比)表现最好,能较完整地呈现对立双方的论据,且较少把一方立场软化。
DeepSeek:中文资料覆盖好,英文深度 weakest
在中文语料相关的问题上,DeepSeek 的表现明显优于其他三家——它引用了更多本地一手来源,某些行业中文数据的覆盖度甚至更全。
但英文深度问题(A 组里涉及海外市场的两个)暴露短板:引用的英文来源层级偏低,出现了博客转述充当一手数据的情况。同时,耗时最短(3–5 分钟)也意味着检索深度较浅,平均每份报告的来源数量约为其他三家的一半。
三个跨产品的共性问题
比横向排名更有价值的是:四家全都有这三个毛病。
问题一:数字的时效性没有标注
报告里出现”2025 年出货量为 X”时,很少注明数据的统计口径和发布时间。有些数字其实来自 2024 年中的预测值,被当成既成事实引用。建议自己使用时,对每个关键数字都打开原始链接确认发布日期。
问题二:引用密度与信赖度脱节
引用多不等于可靠。有几份报告的引用集中在同一源头,或者全是同一篇文章的不同转载。有效做法是统计独立来源数,而不是引用条数。
问题三:对”检索不到”缺乏诚实的处理
在 C 组问题上,四家几乎都出现过”用相邻事实替代缺失事实”的倾向。最隐蔽的形式是:把”没有找到证据表明 X”表述成”有证据表明非 X”。这两者逻辑上完全不同。
场景化选择建议
| 场景 | 推荐 | 理由 |
|---|---|---|
| 要交付给客户的行业报告 | Claude 或 ChatGPT | 结构与溯源兼顾,人工核验负担小 |
| 快速了解一个新领域 | Gemini | 速度优势明显,要点清晰 |
| 中文市场/政策类调研 | DeepSeek | 中文一手源覆盖更全 |
| 需要严格引用的学术预研 | Claude | 不确定时会明说,误信风险低 |
| 有明确错误假设的验证任务 | 都不要全信 | 必须人工先验证前提 |
一份可复用的使用清单
无论用哪家,以下五条能显著降低翻车率:
- 先验证前提:把你的问题里的所有假设单独确认一遍,别让工具在错误前提上跑 10 分钟。
- 抽样核验引用:随机打开 5 条链接,如果 1 条对不上,整份报告需要重新审视。
- 统计独立来源:去重后少于 6 个来源的报告,可信度打折。
- 数字必须追到原始发布物:不和新闻稿的数字打交道。
- 让工具标出不确定项:明确要求”对无法核实的陈述单独列一节”,四家都能做到,但默认不做。
结语
深度研究功能已经足够好用,可以显著压缩调研的起步时间。但它们目前的共性缺陷非常一致:引用格式规范,溯源链条不严密;报告结构漂亮,不确定性的表达不诚实。
把它当成”高级搜索 + 初稿生成器”是正确的定位,把它当成”事实核查器”是危险的。上面那五条清单,比选哪家产品更能决定你最终拿到的报告质量。