ChatGPT、Claude、Gemini、DeepSeek四家深度研究功能实测:谁在编造引用

📅 2026/4/26 ✍️ 小文 📖 约 1 分钟

深度研究功能是2026年各家最卷的方向。本文用同一组12个研究问题横评四家产品,重点测引用可验证性、溯源精度和事实错误率,并给出场景化选择建议。

为什么这次不测”报告写得好不好”

深度研究(Deep Research)类功能已经过了”能不能写出一篇像样报告”的阶段。四家主流产品的报告结构、语言流畅度、段落组织都很接近——人类读者很难一眼分辨高下。

真正的分野在三个地方:

  1. 引用是否可验证——链接打不打得开、内容对不对得上。
  2. 论断是否有出处——哪些是搜到的,哪些是模型自己补的。
  3. 关键数字是否准确——尤其是需要多源交叉的统计数字。

所以本文的评测方法是:同一组 12 个研究问题,逐条核对报告中的每个引用和关键数字。这是个体力活,但比”读起来像是好报告”可靠得多。

测试设计与评分口径

12 个问题分为三组:

  • A 组(4 个)事实密集型:需要具体数字和日期,如”某行业 2025 年全球出货量及三家主要厂商份额”。
  • B 组(4 个)观点对比型:需要呈现多方立场,如”关于某项技术的争议,双方主要论据”。
  • C 组(4 个)溯源陷阱型:故意含有误导性前提或冷门细节,用于检测是否会顺着错误前提编造证据。

评分三维度:

维度定义计算方式
引用有效率链接可访问且内容与所述一致有效引用数 / 总引用数
溯源准确率论断能在其引用源中找到明确支撑抽样 20 条论断人工核对
事实准确率关键数字与权威源一致每个数字逐条核对

实测结果

产品引用有效率溯源准确率事实准确率平均耗时
ChatGPT89%84%86%6–10 分钟
Claude92%88%88%8–14 分钟
Gemini91%86%87%4–7 分钟
DeepSeek84%79%81%3–5 分钟

数据是 12 个问题、共 470 余条引用的核对结果,波动区间大约 ±4 个百分点,不足以形成碾压性优势的结论。四家的差距在一个量级内,但失败模式的差异非常大——这才是关键。

失败模式画像:不同的”编造方式”

ChatGPT:结构最规范,但爱引”二手信息”

报告结构是四家里最像咨询交付物的:有摘要、有分层、有小结。引用密度高(平均每 300 字一条),格式统一。

问题在于引用偏好:它倾向于引用二手聚合类内容和新闻转述,而不是一手数据源。在事实密集型问题上,这导致数字”看起来都有出处”,但出处本身是别人转述错了的版本。A 组 4 个问题里,有 2 个出现了”引用源正确但数字已被二次加工”的情况。

C 组溯源陷阱测试里,它有一次顺着错误前提完成了整段论述,引用了三篇内容相近的文章——但三篇都源自同一个错误源。这是典型的回音室效应。

Claude:溯源最严谨,但有时”过于克制”

Claude 的引用有效率与溯源准确率最高。它的一个显著特点是:不确定时会明说。在 C 组问题里,它是唯一一个明确写出”该前提在检索到的资料中未能找到支撑”的产品。

代价是——报告中会出现较多”资料不足”的表述,显得不够果断。如果用户要的是一份可以直接拿去汇报的报告,这种克制的风格需要额外加工。

另一个观察:Claude 的耗时最长,但耗时与质量的相关性并不明显——有两次在 12 分钟以上的运行里,报告质量与 8 分钟的相当。

Gemini:速度最快,生态联动最好

4–7 分钟的耗时明显领先。报告风格偏向”要点清单”,读起来清晰但不够连贯。

引用有效性不错,但有一个特定问题:对视频、播客类内容的引用质量偏低。当回答涉及 YouTube 演讲或播客访谈时,引用往往指向视频页面而不是具体时间点,导致”可验证但验证成本极高”。

事实准确率在 B 组(观点对比)表现最好,能较完整地呈现对立双方的论据,且较少把一方立场软化。

DeepSeek:中文资料覆盖好,英文深度 weakest

在中文语料相关的问题上,DeepSeek 的表现明显优于其他三家——它引用了更多本地一手来源,某些行业中文数据的覆盖度甚至更全。

但英文深度问题(A 组里涉及海外市场的两个)暴露短板:引用的英文来源层级偏低,出现了博客转述充当一手数据的情况。同时,耗时最短(3–5 分钟)也意味着检索深度较浅,平均每份报告的来源数量约为其他三家的一半。

三个跨产品的共性问题

比横向排名更有价值的是:四家全都有这三个毛病。

问题一:数字的时效性没有标注

报告里出现”2025 年出货量为 X”时,很少注明数据的统计口径和发布时间。有些数字其实来自 2024 年中的预测值,被当成既成事实引用。建议自己使用时,对每个关键数字都打开原始链接确认发布日期。

问题二:引用密度与信赖度脱节

引用多不等于可靠。有几份报告的引用集中在同一源头,或者全是同一篇文章的不同转载。有效做法是统计独立来源数,而不是引用条数。

问题三:对”检索不到”缺乏诚实的处理

在 C 组问题上,四家几乎都出现过”用相邻事实替代缺失事实”的倾向。最隐蔽的形式是:把”没有找到证据表明 X”表述成”有证据表明非 X”。这两者逻辑上完全不同。

场景化选择建议

场景推荐理由
要交付给客户的行业报告Claude 或 ChatGPT结构与溯源兼顾,人工核验负担小
快速了解一个新领域Gemini速度优势明显,要点清晰
中文市场/政策类调研DeepSeek中文一手源覆盖更全
需要严格引用的学术预研Claude不确定时会明说,误信风险低
有明确错误假设的验证任务都不要全信必须人工先验证前提

一份可复用的使用清单

无论用哪家,以下五条能显著降低翻车率:

  1. 先验证前提:把你的问题里的所有假设单独确认一遍,别让工具在错误前提上跑 10 分钟。
  2. 抽样核验引用:随机打开 5 条链接,如果 1 条对不上,整份报告需要重新审视。
  3. 统计独立来源:去重后少于 6 个来源的报告,可信度打折。
  4. 数字必须追到原始发布物:不和新闻稿的数字打交道。
  5. 让工具标出不确定项:明确要求”对无法核实的陈述单独列一节”,四家都能做到,但默认不做。

结语

深度研究功能已经足够好用,可以显著压缩调研的起步时间。但它们目前的共性缺陷非常一致:引用格式规范,溯源链条不严密;报告结构漂亮,不确定性的表达不诚实。

把它当成”高级搜索 + 初稿生成器”是正确的定位,把它当成”事实核查器”是危险的。上面那五条清单,比选哪家产品更能决定你最终拿到的报告质量。

📤 分享到