Computer Use Agent 落地指南：让 AI 真的会点鼠标的代价

什么是 Computer Use Agent

过去的 Agent 只能操作 API。而 Computer Use Agent（CUA）能像人一样看屏幕、动鼠标、敲键盘——截图理解界面，输出点击坐标和输入内容，直接操作那些没有 API 的老旧系统。

这打开了巨大的场景：填写内部系统表单、跨没有接口的网站抓数据、批量处理只能手工点的后台。但代价也真实存在。

技术原理：三步循环

CUA 的每一轮动作都是一个循环：

1. 看：截取当前屏幕，让多模态模型理解界面元素和状态。
2. 想：根据目标决定下一步动作（点击哪、输入什么）。
3. 做：执行动作，然后回到第 1 步。

难点全在细节里：图标识别、坐标定位、小字模糊、弹窗遮挡、加载未完成——人眼习惯性忽略的问题，对模型都是障碍。

三重真实代价

代价一：慢且贵

每一轮都要传一张截图给多模态模型。一个 30 步的任务，就是 30 次视觉推理，延迟以分钟计，成本以对话量计。

降低方式：把可 API 化的步骤优先走 API，只在必须时用 CUA 兜底。

代价二：脆弱

界面一改版、按钮一挪位、多一个弹窗，任务就失败。CUA 的稳定性天然低于 API 调用——它依赖像素，而像素随时会变。

降低方式：动作后加验证步骤（截图确认状态变化），失败自动重试，并给关键元素设置相对定位而非绝对坐标。

代价三：安全风险最大

一个能点鼠标的 Agent，能干的事包括删除文件、点确认付款、提交表单、授权权限。一旦被提示注入攻击，后果直接落到真实系统上。

这不是理论风险——恶意网页上的一行小字，就可能让 Agent 去执行你没授权的操作。

上线前必须做的四件事

1. 沙箱隔离

CUA 必须在隔离环境里跑：独立容器、受限账号、专用虚拟机。绝不能给它在生产系统上的管理员权限。

2. 动作分级审批

按风险分级：

• 只读动作（截图、滚动、读取）→ 自由执行
• 有状态动作（填表、提交）→ 白名单 + 记录
• 不可逆动作（删除、付款、授权）→ 必须人工确认

3. 输入源可信化

提示注入是 CUA 的头号敌人。原则是：页面上的一切文字都是不可信数据，不能当指令。对模型做明确的输入隔离，并要求高风险动作走人工确认。

4. 全程可审计

每一步都要留痕：截图、动作、决策理由。出问题时能回放，也方便做失败案例的评测集。

什么场景值得用 CUA

按性价比排：

值得：无 API 的内部系统自动化、一次性数据迁移、跨系统的重复录入。这些场景人工做很痛苦、API 又没有，CUA 的价值最明显。

谨慎：涉及资金、权限、删除的操作——即便做，也要严格人工确认。

不值得：能用 API 解决的场景。API 更快、更稳、更便宜，别为了”看起来智能”去点鼠标。

一条务实的落地路径

1. 先选一个低风险、高频、无 API 的流程做验证。
2. 做成”Agent 建议动作 + 人工点击确认”的半自动模式，先证明可靠性。
3. 稳定后再逐步放开低风险动作的自动执行。
4. 不可逆动作永远保留人工确认。

小结

Computer Use Agent 的真正价值，不在”能操作任何界面”，而在打通那些没有 API 的最后一公里。但它用的是最脆弱的接口（像素）和最大的权限（真人操作权）。

所以它的落地准则很明确：沙箱运行、动作分级、输入不可信、全程审计。把它当成一个需要戴手套操作的工具，而不是一个可以放手的员工。