别再让 RAG 兼职当记忆:Agent 记忆与知识检索必须解耦的五个理由

📅 2026/11/22 ✍️ 小文 📖 约 1 分钟

很多团队把对话历史打进向量库当作 Agent 记忆——短期能跑,长期一定烂。本文结合 2026 年的实践,讲清记忆与知识检索在写入、检索、失效三个环节的系统性差异,并给出一套低成本的双通道架构。

一个省事的决定,三年后的技术债

2024 年前后,非常多的 Agent 是这么搭的:把用户说过的话、系统已知的文档、工具返回的结果,统统切块塞进同一个向量库,每次请求检索 top-k 拼进 prompt。看起来优雅——一个库搞定记忆和知识。

到 2026 年,这批系统普遍出现了同一批症状:

  • 用户三个月前随口说的一句话,因为向量相似度高,被反复召回,污染当前对话
  • 公司政策文档更新了,旧版本仍被召回,两个答案同时出现在上下文里
  • 检索延迟从 200ms 涨到 900ms,因为库里混进了几十万条无价值对话碎片
  • 想让 Agent”忘记某事”时,没人知道该删哪些向量

问题的根源不复杂:记忆和知识的生命周期完全不同,混在一起必然互相伤害。

理由一:写入频率差三个数量级

知识库的写入是批量、低频、人工审核的——一份政策、一批 FAQ、一份产品手册。

记忆的写入是逐条、高频、自动的——每轮对话至少一条,一次工具调用可能好几条。

把它们放进同一个 collection,会导致两个后果:知识在索引里被海量记忆”挤”到检索尾部;每次知识更新都要面对一个正在高频写入的库,重建索引变成高风险操作。

理由二:检索逻辑不同

知识检索要的是广度优先:用户问”退款政策”,需要召回政策正文、例外条款、相关 FAQ,宁可多召回几条。

记忆检索要的是精确的时间与主体过滤:只想要”这个用户在这个会话里的偏好”,不是”所有人说过的关于偏好的话”。

实践中,记忆检索的正确形态是 结构化过滤 + 少量语义匹配:

recall = scope(user_id, session_id)
       AND type IN ('preference', 'fact')
       AND created_at > now() - 90d
       ORDER BY importance DESC, recency DESC
       LIMIT 12

纯向量相似度在这种场景下命中率很低,因为它没有”主体”概念——张三的偏好和李四的偏好向量距离可能只有 0.1。

理由三:失效机制不同

知识失效靠版本替换:新政策发布,旧版本下线,索引更新一次即可。

记忆失效靠时间衰减 + 显式冲突处理。用户说”我现在住上海了”,旧记忆”住在北京”必须被标记为 superseded,而不是两者并存等待模型自己判断。让模型做这个判断,早晚出错。

这两套机制无法共用。把 supersede 逻辑塞进向量库的 metadata,会迅速演变成一个没人看得懂的 JSON 字段泥潭。

理由四:隐私边界不同

知识是组织级的,记忆是用户级的。混在一个库里,意味着删除用户数据时你要做非常精细的 metadata 过滤删除,而且删完要验证——这在多数向量库上是既慢又容易出错的。

分开存储后,“删除某用户全部记忆”就是一次 DELETE WHERE user_id = ?,审计也简单。

理由五:更新一个不会影响另一个

这是最实际的收益。知识库要重建 embedding(换模型、改切块策略)时,如果记忆同库,你等于把用户的历史上下文也重算一遍——成本高,而且 embedding 变了意味着旧的相似度阈值全失效。

分开后,两条通道可以独立演进:知识侧三个月换一次 embedding 模型,记忆侧两年不动。

推荐的双通道架构

通道 A:知识库(读多写少)

  • 文档 → 切块 → 元数据标注(来源、版本、生效日期、权限域)
  • 向量索引 + BM25 混合检索 + rerank
  • 版本化:同一逻辑文档的新旧版本共存但标记 active
  • 更新走异步流水线,不阻塞线上

通道 B:记忆库(写多读多)

  • 写入时先做一次轻量抽取:这轮对话产生了什么值得记的事实/偏好/承诺?
  • 每条记忆带 subject(谁)、type(事实/偏好/承诺)、confidence、source_turn
  • 冲突处理:写入前检索同 subject 同 type 的记忆,让抽取模型判定是新增、更新还是取代
  • 读取时按 scope + importance + recency 排序,取前 10~15 条注入

共享层:上下文装配器

两条通道的产物最终都要进入 prompt,所以在装配层统一管理 token 预算:知识占多少、记忆占多少、系统提示占多少。这部分要显式配置,而不是让它们自由竞争。

三个容易忽略的细节

  1. 记忆也要有”冷存储”。90 天未命中的记忆移到冷表,不进检索。否则库会无限膨胀,而且越老的记忆越容易产生错误联想。
  2. 知识库检索失败要能降级。向量库挂了,至少要有 BM25 兜底。这一点在混合检索里通常已经解决,但要确保 fallback 路径真的被测过。
  3. 写入记忆要有配额。单会话超过 200 条记忆,说明抽取策略太贪,会严重挤占上下文预算。

什么时候可以不拆

如果满足以下全部条件,混着放也许能撑一阵:用户量小于 1000、单会话轮次小于 10、知识库小于 5000 块、没有人认真做评估。

但只要有一个不满足——尤其是有评估——分拆就是迟早的事。而在系统还小的时候拆,成本大概是上线后拆的十分之一。

📤 分享到