AI 视频一致性攻坚:角色/场景「不跑偏」的 LoRA 与提示词工作流
AI 视频最大的痛点不是画质,是「同一个角色上一帧这张脸、下一帧换个人」。本文讲清角色一致性的三条技术路线和一套可复用的生产工作流。
用 AI 做视频,最让人崩溃的不是画质,是一致性:同一个角色,镜头一转脸就变了;同一个场景,换个角度家具全挪了位置。做单个炫技短片没问题,一旦要做有连续剧情的广告、教程、短剧,一致性就变成生死线。本文讲清攻坚路线。
一致性的三个层次
- 角色一致性:不同镜头里是同一个人(脸、发型、服装)。
- 场景一致性:不同角度下是同一个空间(布局、光照、道具)。
- 风格一致性:全片色调、质感统一(电影感、卡通、写实)。
三者难度递增,但底层思路相通:把”什么是恒定的”外化。
路线一:LoRA 微调(角色一致性最稳)
为特定角色训练一个 LoRA(低秩适配器),让模型”记住”这个角色的特征。
- 素材:20-50 张同角色不同角度、不同光照的高质量图。
- 关键:素材要干净(同一张脸)、多样(角度/表情/景别),打标要统一命名角色 token。
- 效果:训练好后,只要提示词里带上该 token,生成的角色就高度稳定。
代价是每个角色要单独训练,前期投入大,但长期复用(做系列内容)时最划算。
路线二:参考图 + 条件控制(快速起步)
不训练,用**参考图(reference image)**引导生成,配合姿态/深度/边缘控制。
- 固定一张角色主图作为参考。
- 用 face swap 或 face ID 类能力锁脸。
- 用 ControlNet 类控制锁定姿态和构图。
优点是无需训练、即时可用;缺点是极端角度和大幅度动作下容易崩,适合镜头变化不大的场景。
路线三:提示词锚定(配合前两者)
无论用哪条路线,都需要一套结构化角色卡作为提示词的”锚”:
角色: [名字] — 30岁亚裔女性,齐肩黑发微卷,深灰西装,圆框眼镜,左眉有痣
场景: [地点] — 现代开放式办公室,落地窗,下午暖光,右侧有绿植墙
风格: 电影感,浅景深,柯达色调,35mm
镜头: 中景,机位略低
每次生成都完整带上角色卡和场景卡,不要偷懒用”她""上面那个人”。模型没有长期记忆,你不写清楚它就自由发挥。
一套可复用工作流
- 定锚:先产出一张”标准定妆照”和一张”标准场景图”,作为全片基准。
- 训 LoRA(可选但推荐):用定妆照扩展出训练集,训角色 LoRA。
- 写卡片:把角色/场景/风格固化成提示词模板,做成片段库。
- 分镜生成:每个镜头单独生成,稳定优先(先用固定种子 + 参考图)。
- 失败的镜头:优先调镜头角度或换参考图,而不是改一堆提示词导致风格漂移。
- 后期统一:用调色、颗粒、转场把细微不一致”焊”在一起。
三个高频坑
- 用”她/他”指代角色:模型记不住,一定用完整角色卡。
- 一次改太多变量:镜头、光照、服装一起改,出问题无法定位。一次只动一个变量。
- 忽视后期:很多”不一致”其实是色调差异。统一调色能救回不少镜头。
小结
AI 视频一致性不是靠某个神器一键解决,而是把恒定信息外化:角色用 LoRA 锁、场景用参考图锁、风格用提示词卡锁,再配合严格的”一次改一个变量”迭代法。先练熟这套工作流,再去追求画面炫技。