别再让 RAG 兼职当记忆:Agent 记忆与知识检索必须解耦的五个理由
很多团队把对话历史打进向量库当作 Agent 记忆——短期能跑,长期一定烂。本文结合 2026 年的实践,讲清记忆与知识检索在写入、检索、失效三个环节的系统性差异,并给出一套低成本的双通道架构。
一个省事的决定,三年后的技术债
2024 年前后,非常多的 Agent 是这么搭的:把用户说过的话、系统已知的文档、工具返回的结果,统统切块塞进同一个向量库,每次请求检索 top-k 拼进 prompt。看起来优雅——一个库搞定记忆和知识。
到 2026 年,这批系统普遍出现了同一批症状:
- 用户三个月前随口说的一句话,因为向量相似度高,被反复召回,污染当前对话
- 公司政策文档更新了,旧版本仍被召回,两个答案同时出现在上下文里
- 检索延迟从 200ms 涨到 900ms,因为库里混进了几十万条无价值对话碎片
- 想让 Agent”忘记某事”时,没人知道该删哪些向量
问题的根源不复杂:记忆和知识的生命周期完全不同,混在一起必然互相伤害。
理由一:写入频率差三个数量级
知识库的写入是批量、低频、人工审核的——一份政策、一批 FAQ、一份产品手册。
记忆的写入是逐条、高频、自动的——每轮对话至少一条,一次工具调用可能好几条。
把它们放进同一个 collection,会导致两个后果:知识在索引里被海量记忆”挤”到检索尾部;每次知识更新都要面对一个正在高频写入的库,重建索引变成高风险操作。
理由二:检索逻辑不同
知识检索要的是广度优先:用户问”退款政策”,需要召回政策正文、例外条款、相关 FAQ,宁可多召回几条。
记忆检索要的是精确的时间与主体过滤:只想要”这个用户在这个会话里的偏好”,不是”所有人说过的关于偏好的话”。
实践中,记忆检索的正确形态是 结构化过滤 + 少量语义匹配:
recall = scope(user_id, session_id)
AND type IN ('preference', 'fact')
AND created_at > now() - 90d
ORDER BY importance DESC, recency DESC
LIMIT 12
纯向量相似度在这种场景下命中率很低,因为它没有”主体”概念——张三的偏好和李四的偏好向量距离可能只有 0.1。
理由三:失效机制不同
知识失效靠版本替换:新政策发布,旧版本下线,索引更新一次即可。
记忆失效靠时间衰减 + 显式冲突处理。用户说”我现在住上海了”,旧记忆”住在北京”必须被标记为 superseded,而不是两者并存等待模型自己判断。让模型做这个判断,早晚出错。
这两套机制无法共用。把 supersede 逻辑塞进向量库的 metadata,会迅速演变成一个没人看得懂的 JSON 字段泥潭。
理由四:隐私边界不同
知识是组织级的,记忆是用户级的。混在一个库里,意味着删除用户数据时你要做非常精细的 metadata 过滤删除,而且删完要验证——这在多数向量库上是既慢又容易出错的。
分开存储后,“删除某用户全部记忆”就是一次 DELETE WHERE user_id = ?,审计也简单。
理由五:更新一个不会影响另一个
这是最实际的收益。知识库要重建 embedding(换模型、改切块策略)时,如果记忆同库,你等于把用户的历史上下文也重算一遍——成本高,而且 embedding 变了意味着旧的相似度阈值全失效。
分开后,两条通道可以独立演进:知识侧三个月换一次 embedding 模型,记忆侧两年不动。
推荐的双通道架构
通道 A:知识库(读多写少)
- 文档 → 切块 → 元数据标注(来源、版本、生效日期、权限域)
- 向量索引 + BM25 混合检索 + rerank
- 版本化:同一逻辑文档的新旧版本共存但标记
active - 更新走异步流水线,不阻塞线上
通道 B:记忆库(写多读多)
- 写入时先做一次轻量抽取:这轮对话产生了什么值得记的事实/偏好/承诺?
- 每条记忆带
subject(谁)、type(事实/偏好/承诺)、confidence、source_turn - 冲突处理:写入前检索同 subject 同 type 的记忆,让抽取模型判定是新增、更新还是取代
- 读取时按
scope + importance + recency排序,取前 10~15 条注入
共享层:上下文装配器
两条通道的产物最终都要进入 prompt,所以在装配层统一管理 token 预算:知识占多少、记忆占多少、系统提示占多少。这部分要显式配置,而不是让它们自由竞争。
三个容易忽略的细节
- 记忆也要有”冷存储”。90 天未命中的记忆移到冷表,不进检索。否则库会无限膨胀,而且越老的记忆越容易产生错误联想。
- 知识库检索失败要能降级。向量库挂了,至少要有 BM25 兜底。这一点在混合检索里通常已经解决,但要确保 fallback 路径真的被测过。
- 写入记忆要有配额。单会话超过 200 条记忆,说明抽取策略太贪,会严重挤占上下文预算。
什么时候可以不拆
如果满足以下全部条件,混着放也许能撑一阵:用户量小于 1000、单会话轮次小于 10、知识库小于 5000 块、没有人认真做评估。
但只要有一个不满足——尤其是有评估——分拆就是迟早的事。而在系统还小的时候拆,成本大概是上线后拆的十分之一。