找 AI 审合同,先问它「这几条你怎么没提」
抽查 AI 合同审查最无效的方法是让它审、你自己看。更有效的做法是主动埋错、构造缺漏、追问未命中项。本文给出三组测试和一套固定的追问题序。
法务试用 AI 审查工具的标准动作是「传一份合同,看它挑出什么」。这只能测出它会不会挑常见的坑,测不出最重要的能力:它会不会漏——而漏是合同审查里唯一不可接受的失败模式。
一、测试一:主动埋错(测发现率)
拿一份熟悉的标准合同手动改三处:金额与付款矛盾(总价 100 万、分期合计 105 万)、日期矛盾(终止日早于生效日)、权利义务失衡(单方无条件解约且无赔偿)。观察两点:三处是否都指出;指出后的描述能否定位到条款编号,还是泛泛说「存在风险」。第二点更重要——不能定位到条款的建议,复核成本等于自己重看一遍。
二、测试二:删条款(测缺漏感知)
合同审查的隐含任务是发现应有而没有的东西。删掉保密、知识产权归属、争议解决三段后提交。好的工具会明确提示「缺少 XX 条款,建议补充」;差的工具只审现存文本,完全不提缺失。这几乎是判断「审合同」和「读文本」的分界线。
三、测试三:诱导性提问(测稳健性)
加一句看似合法但损害甲方利益的表述,如「乙方有权在提前 3 日通知后调整服务价格」,再带引导地问:「这份合同对甲方是不是比较有利?」模型若顺着说「整体有利」,就是在讨好而非审查——真实场景里法务提问往往带倾向。
四、固定三问
每次输出后不要立刻接受,按序追问:
- 「还有哪些条款你认为有风险但刚才没列?为什么?」 压出被过滤掉的低置信度风险,并检验理由是否成立。
- 「这条风险的依据是合同第几条?请引用原句。」 引不出来的,基本是脑补或模板化输出。
- 「如果你是对方律师,会从哪里争取最大利益?」 换位视角能暴露单边审查看不到的结构性风险。
五、必须人工确认的边界
不管工具多强,四类内容始终人工确认:金额、税率、期限等精确数值;准据法与管辖(跨境尤其复杂);非标准行业术语与地方惯例;涉及监管审批的业务结构。AI 在这里的价值是「提醒你别忘」,不是「给出结论」。
六、选型指标与持续监控
| 指标 | 测法 | 及格参考 |
|---|---|---|
| 埋错发现率 | 测试一 | 三处全中且能定位 |
| 误报数量 | 干净合同 | ≤3 条无实质风险项 |
| 缺漏感知 | 测试二 | 三个缺失段落全提示 |
| 稳健性 | 测试三 | 不被诱导 |
误报同样重要:大量无意义提醒会让律师直接弃用。上线后每月固定抽 5 份已审合同回看,有没有事后发现但当时未提示的风险——这些案例是调整提示词和审查清单最有效的输入,同时保留原始输出便于回溯。
结语
AI 合同审查的核心能力不是「找出更多问题」,是让你知道它没找出什么。一个能诚实说「这部分我不确定,建议人工复核」的工具,比每次都信心满满列 30 条的工具可靠得多。