截图当测试用例:用视觉模型给老旧系统做 UI 回归测试
很多后台系统没有自动化测试,改一行 CSS 就能崩掉布局。本文给出一套用多模态模型比对截图的低成本回归方案,包含控件定位、误报抑制、阈值设定与真实落地数据。
去年帮一家公司处理一个十年历史的内部后台系统。它没有 E2E 测试,改任何前端代码都靠”点一遍看看”。问题是,他们的运营每天在这套系统里跑几万笔单,一次布局崩掉就是几小时的业务停摆。
传统方案是上 Playwright 写断言,但这个系统有 200 多个页面,控件 ID 大量重复,DOM 结构混乱,人工写测试的成本比改版还高。
最后我们用了视觉模型比对截图。方案不完美,但它在一个月内抓出了 37 个真实回归缺陷,成本是人工写测试的十分之一。下面是具体做法。
一、为什么视觉方式在这个场景特别合适
视觉回归的经典做法是像素级 diff(如 pixelmatch)。它对”像素完全一致”很有效,但对这类系统几乎不可用——因为这些系统每次渲染都有轻微差异:字体抗锯齿、动态时间显示、随机排序的表格、广告位图片。
像素 diff 会产生海量噪声,团队看两周就放弃了。多模态模型的优势在于它能回答语义问题:“这两张图在布局结构上是否一致?有哪些元素位置或可见性发生了变化?“——而不是机械地比较像素。
二、基线怎么建
- 固定环境:同一分辨率(建议 1440×900)、同一浏览器版本、同一缩放比例、禁用动画(注入
* { animation: none !important; transition: none !important; })。 - 固定数据:用只读快照数据源,或者在渲染时注入固定随机种子。动态时间统一 mock 成固定值。
- 每个页面拍三种状态:默认态、空数据态、错误态。空数据态和错误态的回归最容易被人工漏掉,而且视觉变化往往最大。
- 基线随主分支更新:合并到主分支时重新生成基线,这样基线永远代表”当前正确状态”。
基线总计一个页面 3 张图,200 个页面就是 600 张,存储完全不是问题。
三、调用与提示词设计
不要直接问”这两张图一样吗”,模型倾向于回答”基本一样”。要给结构化输出:
{
"verdict": "same | minor | major",
"changes": [
{
"region": "顶部导航",
"type": "layout_shift | missing_element | text_change | overlap | color",
"description": "订单筛选器下移约 40px,与表头重叠",
"likely_severity": "high | medium | low"
}
]
}
提示词里要明确几个判定规则:
- 布局位移超过一个控件高度视为 major
- 元素遮挡(overlap)一律 major
- 纯文本变化(数据内容变化)视为 low,但如果文本被截断成”…”则升级为 medium
- 颜色/对比度变化视是否影响可读性判定
我们把两张图上下拼接成一张(上基线、下当前),并在图上方标注”上方=基线,下方=当前”。实测这比分别传两张图准确率高很多,模型不会混淆哪张是参照。
四、误报才是真敌人
第一版跑下来,误报率大概 40%,主要来自三类:
| 误报来源 | 处理方式 |
|---|---|
| 动态时间/在线人数 | 渲染前 mock,或在截图上遮罩固定区域 |
| 表格随机排序 | 固定数据排序,或在提示中声明”表格行顺序可变” |
| 抗锯齿/字体渲染差异 | 提示词中明确”忽略细微字体渲染差异” |
处理完这三类,误报率降到 8% 左右。剩下的 8% 我们采用双模型投票:两个不同的视觉模型都判 major 才报警,只有一个判 major 则进”待人工复核”队列。这一步把最终误报压到了 3% 以内,同时没漏掉已知缺陷。
成本上,一个页面三态、每次变更全量跑,约 600 次调用,单次成本在几分钱量级,一次全量回归的总成本大致相当于一个人半小时的工资。
五、它抓不到什么
必须说清楚边界,否则团队会误用:
- 抓不到功能性错误:按钮点了没反应、接口返回错误但 UI 显示正常,视觉方案完全看不见。这部分还得靠接口级测试。
- 抓不到需要交互才能暴露的问题:hover 态、多步表单、弹窗叠加。可以补拍这些状态,但成本会线性上升。
- 对小面积文本改动不敏感:比如金额算错但长度一样,模型可能只报 low。
所以正确的定位是:视觉回归是”防崩溃”的网,不是”防逻辑错”的网。它替代的是”人工点一遍看看有没有崩”,不是替代单元测试。
对没有测试遗产的老系统来说,这类方案的价值不在于”先进”,而在于它能在不改动任何业务代码的前提下上线。这一点,往往是它唯一能落地的理由。