从Demo到能用:AI功能连续三个月没人用,问题出在哪六个月
AI功能上线的第一周很热闹,三个月后活跃率掉到个位数。这不是模型问题。本文复盘一个真实的产品衰减曲线,拆出六个阶段的失效原因和对应修法。
一个内部知识助手,上线首月有四百多人试用,每天提问上千次。第三个月,日活掉到十七人,其中一半还是开发团队自己在测。
复盘会发现,衰减不是断崖式的,是每个月掉一点。每个月的原因都不一样,修法也不一样。
这是一条典型的AI功能衰减曲线,值得逐月拆开看。
第一个月:新鲜感掩盖了空洞
首月的使用数据会骗人。因为大家都想试试”这玩意到底能干嘛”。
真实问题被热门指标盖住了:
- 问题问得很随意——“你能干什么”、“试试看”,这类问题占了近一半
- 有答案就满足——用户还没意识到回答是否能用
- 出错不计较——“AI嘛,难免的”
这时你看不到真实问题,因为用户还在容忍期。
修法
别看总调用量,看任务完成信号:
- 用户复制了回答内容(说明有用)
- 用户追问了一次(说明想要更多)
- 用户把答案贴进了别的系统(最有价值)
如果”复制率”很低,说明回答看着合理但不好用。这一条比任何满意度评分都可靠。
第二个月:第一次失望
这个月用户开始带着真实任务来。
典型的失望点:
答非所问。 用户问”我们Q3的返利政策有没有变动”,系统检索到”返利政策说明(2024版)“,然后认真回答了2024版的内容。回答本身没错,但错在没告诉用户”这可能不是最新版”。
不敢承认不知道。 知识库里没有的问题,它会用相邻内容拼出一个看起来合理的答案。用户第一次踩坑后会开始怀疑每一次回答。
上下文丢失。 多轮对话里,第二问就忘了第一问的前提。用户得反复交代背景,比直接搜文档还累。
修法
这个阶段的重点不是提升准确率,是提升可信度:
- 答案必须带出处,并显示文档的更新时间。让用户自己判断新旧。
- 明确说出”不确定”。设计一个低置信度的表达模板,比如”我在现有文档里没找到直接说明,下面这些相关内容可能有帮助”。承认不知道,比编个好答案更能建立信任。
- 多轮对话保存任务上下文。不是保存全部历史,是保存”当前在讨论哪个对象”。
第三个月:接入成本暴露
到这时候,真实用户已经形成了稳定路径:直接在群里问同事,比打开知识助手快。
这是最残酷的发现:AI功能没有输给质量问题,输给了摩擦力。
具体摩擦:
- 要多开一个页面/App
- 要重新登录
- 不能贴截图问
- 得到的答案不能直接分享给别人
- 不能带上自己正在写的文档作为上下文
每一次额外操作,都会流失一批用户。
修法
把AI功能搬到用户已经在的地方:
- 群里能直接@它(而不是跳到另一个应用)
- 在文档编辑器里能直接唤起
- 支持截图、支持拖文件
- 答案能一键转发成卡片
这一步的收益通常比优化模型大得多。 一个准确率70%但随时能用的助手,使用量远高于准确率90%但要开新页面的助手。
第四个月:没有反馈闭环
用户遇到了错误答案,然后呢?通常什么都没发生。
- 没有”这个答案不对”的按钮
- 就算有,点了也没人处理
- 用户看不到自己反馈的问题被修复
没有闭环的反馈按钮,比没有按钮更糟。 它让用户确认了一件事:这里没人管。
修法
建立一个最小闭环:
- 每条答案下面两个按钮:有用 / 不对
- “不对”点开后只问一个问题——“哪里不对”(三个选项:信息过时、答非所问、查不到)
- 每周把”不对”的输入整理出来,人工看前50条
- 公开一个”已修复问题”周报,告诉用户你们改了什么
第四个动作最重要。它把”反馈”从单向抱怨变成了双向协作。
第五个月:维护者的疲劳
多数AI功能的维护不是团队,是一个人。这个人最初是热情推动者,现在每天在回答三个问题:“这个能干嘛?”、“它说的不对”、“能加个功能吗”。
他开始不做知识库更新了。文档过期没清理,新增的制度文件没导入。
AI功能的质量,在很大程度上一半取决于内容维护,而内容维护是没有人看到的工作。
修法
- 把知识库更新放进某个岗位的职责,而不是靠志愿者
- 设定过期检测:超过一年没更新的文档标记”待确认”,检索时降低权重或明确提示
- 每季度做一次”问题+缺失”审计:哪些问题查不到答案,就去补内容
很多”模型效果不好”的案例,最后发现是知识库里压根没有那份文档。
第六个月:重新定义产品
到这时,用户剩余的需求会变得非常具体。他们不想要”什么都能问的助手”,他们想要:
- 每个月固定要写的几份报告,自动起草
- 固定那几个流程的合规检查
- 新人入职时那四十个高频问题
AI功能真正的PMF,往往不在”通用助手”,而在”特定流程里的固定一步”。
修法
不要试图救活一个通用助手。挑出使用频率最高的三个任务,把它做成独立的、专用的小功能。
专用功能有明显优势:
- 提示词能高度定制
- 输入表单能结构化(用户不用自己想怎么问)
- 输出能直接对接下游
- 评测有明确标准
一个做得极好的”周报起草”,比一个平庸的”万能助手”价值高十倍。
总结表:六个月失效路径
| 阶段 | 表面现象 | 真实原因 | 关键动作 |
|---|---|---|---|
| 第1月 | 用量高 | 新鲜感 | 看任务完成信号 |
| 第2月 | 投诉增多 | 可信度不足 | 加出处、允许不确定 |
| 第3月 | 用量下滑 | 接入摩擦 | 搬进用户工作流 |
| 第4月 | 沉默流失 | 无反馈闭环 | 建闭环+公开修复 |
| 第5月 | 质量下降 | 内容失维 | 知识库有人负责 |
| 第6月 | 只剩少数用户 | 定位过泛 | 拆成专用功能 |
结语
回头看这六个月,几乎没有一个月的问题出在模型上。
模型能力在整个过程中都是够用的。失败发生在:任务定义、可信度设计、接入位置、反馈机制、内容维护、产品定位——这些都是产品工程问题,不是AI问题。
这其实是个好消息。模型能力你控制不了,上面这六件事你都能控制。
AI功能的天花板,往往不是模型给的,是你在它周围搭建的那圈东西给的。