简介
VibeVoice 是微软开源的一系列语音合成模型,核心卖点不是「单句好听」,而是「整段对话能听」。传统 TTS 生成多人对话时,需要把每句话拆开合成再拼接,容易出现音色漂移、语调不连贯、停顿生硬的问题。VibeVoice 把说话人信息作为条件直接建模,可以在一次推理里生成长时间的多说话人音频。
核心能力
多说话人建模:输入带说话人标记的脚本(如「说话人1:… 说话人2:…」),模型会为每个角色分配稳定音色,并在轮次切换时自然过渡。
长音频生成:适合生成十几分钟甚至更长的对谈内容,用于播客、有声书、课程与访谈类素材。
开源可自托管:权重与推理代码公开,可以在自己服务器上跑,敏感数据不必上传第三方。
多语言:以中英为主,覆盖常见的对话场景用语。
怎么用
- 按 GitHub 仓库说明安装环境并下载模型权重(建议显存充足的 GPU);
- 准备带说话人标签的脚本,指定每个角色的参考音色;
- 调低批量并发,先跑短片段验证音色与停顿,再生成完整长音频;
- 后期可用 Audition、Adobe Podcast 等做降噪与音量统一。
适合谁
播客与对谈类内容制作方、需要批量产出有声内容的自媒体,以及想把 TTS 放进自己内网、对数据合规有要求的团队。如果你只需要单人对白或商用配音的成品体验,使用商业 TTS 服务通常更省事。