Agent 可观测性栈 2026:从「看日志」到「看推理轨迹」的四个层次

📅 2026/11/22 ✍️ 小文 📖 约 1 分钟

Agent 出问题时,日志只能告诉你它调了什么工具,却不能告诉你它为什么这么想。这篇文章拆解 Agent 可观测性的四层结构(Span / 轨迹 / 评估 / 回归),给出每层该记什么、用什么工具、成本多少的具体方案。

一个真实的事故开头

上周某客户的客服 Agent 突然开始乱回答退款政策。查日志:API 全部 200,工具调用全部成功,没有异常堆栈。查了两小时才发现,是有人在知识库里把一段内部备忘录误标成了”对外政策”,检索器忠实地把它召回,模型忠实地照着答。

日志体系对此完全无感——因为从系统工程角度看,一切”正常”。这就是 Agent 与传统微服务最本质的差异:传统系统坏掉会报错,Agent 坏掉只会错误地正常运转。

所以 Agent 的可观测性不能用传统 APM 的思路做,它需要四个层次。

第一层:Span —— 记录”发生了什么”

这是基础层,也是大多数团队唯一做了的一层。每次 LLM 调用、每次工具调用、每次检索,都是一个 span,记录:输入、输出、耗时、token 数、模型名、成本。

关键实践:

  • 必须记录完整 prompt。不要只记 hash 或前 200 字符。出问题时你要重放,而不是猜。
  • span 之间要有父子关系。一次用户请求 → 一个 Agent 循环 → N 次模型调用 + M 次工具调用,这个树形结构是后面一切分析的地基。
  • 工具调用要记录参数与返回的原始形态,包括截断策略。很多 bug 来自”工具返回太长被截断”,而截断点往往不在你以为的位置。

常见做法是 OpenTelemetry 语义约定 + 厂商集成(Langfuse、LangSmith、Arize Phoenix、Braintrust 都支持 OTel 导入)。建议:第一层直接上 OTel 标准,别用私有格式,否则后面换工具要重写。

第二层:轨迹 —— 记录”为什么这么想”

Span 回答”调了什么”,轨迹(trajectory)回答”推理链条是什么”。这层在 2026 年才逐渐成熟,核心是把 Agent 的每一步决策连同当时可见的上下文一起存档。

要记的具体内容:

  1. 每轮的系统提示与上下文窗口快照(至少记录 hash + 变更 diff)
  2. 模型的思维链摘要(不是完整 CoT,那是隐私和成本的坑;记录结构化摘要即可)
  3. 候选与选择。如果是多路并行或带反思的 Agent,要记录它看到了哪些候选、选了哪个、理由是什么。
  4. 上下文压缩事件。一旦发生 compaction 或摘要替换,必须留痕——这是排查”Agent 忘了前面说过的话”的唯一线索。

这一层最有价值的用法是回放:把某个失败请求的完整轨迹喂给一个新模型,看新模型会不会犯同样的错。这是判断”该不该升级模型”最便宜的方法。

第三层:评估 —— 判断”是不是变坏了”

前两层是录制,第三层是判定。很多团队把 eval 当成离线跑分,其实 eval 应该挂到线上流量上。

具体做法:对采样流量(比如 5%)异步跑 LLM-as-judge,打三类分:

维度判什么采样频率
正确性答案是否有事实支撑、是否与工具返回一致5%~10%
合规性是否触发敏感话题、是否越权承诺100%(规则 + 小模型)
体验是否啰嗦、是否答非所问、是否重复提问2%~5%

注意合规性必须 100% 覆盖,因为它的失败成本是非线性的。用小模型或规则引擎做前置过滤,命中可疑样本再送大模型复核,这样成本可控。

评估结果要落成时间序列指标,而不是一次性报告。看得见”昨天的正确率是 92%,今天是 87%“才有意义——单个分数没有决策价值。

第四层:回归 —— 防止”改好了 A 坏了 B”

第四层是把线上发现的坏案例沉淀成测试集,并在每次 prompt / 模型 / 检索策略变更时自动跑。

工程上最容易踩的坑是测试集腐烂:三个月前的”标准答案”今天已经不适用了。解决办法是给每条用例打上”有效期”和”来源”,线上采集的用例默认 60 天过期,需要人工确认才续期。

回归集规模建议:50~200 条按业务分层,而不是 5000 条随机。5 条覆盖退款政策、3 条覆盖越狱尝试、5 条覆盖多轮指代,比 500 条同质问答有用得多。

成本账:这套东西要花多少钱

以日均 1 万次 Agent 请求为例:

  • Span 存储(保留 30 天全量 + 1 年采样):约 30~80 美元/月
  • 线上评估(5% 采样,双模型 judge):约等于主业务 token 成本的 8%~15%
  • 回归跑批(每次发版 200 例):可忽略不计

真正的成本是人:需要有人每周看一眼错误分类分布,把新错误归到已知类别或开新类别。这个动作没人做,四层栈就只是四层数据坟墓。

落地顺序建议

不要一次上四层。按这个顺序:

  1. 第 1 个月:OTel + 一个可查询的 span 存储,能按 trace ID 查完整链路。
  2. 第 2 个月:把 top 3 错误类型做成回归集,发版必跑。
  3. 第 3 个月:线上合规评估 100% 覆盖 + 小模型前置。
  4. 第 4 个月以后:轨迹存档与回放,用于模型升级决策。

最后一句提醒:可观测性的价值上限由”定义清楚什么叫好”决定。如果你说不出这个 Agent 的”好”是什么样,再漂亮的 dashboard 也只是自娱自乐。

📤 分享到