VibeVoice
🎵

VibeVoice

微软开源的语音合成模型,擅长多说话人长音频生成,可稳定产出数十分钟的对谈与播客级语音。

🎵 音频 🆓 免费 ★★★★☆
访问官网
✓ 优点
  • 一次生成整段多人对话,不用逐句拼接
  • 长音频下音色漂移控制较好
  • 开源可自托管,数据不出内网
  • 特别适合播客、访谈类内容的批量生产
! 缺点
  • 显存要求较高,长音频生成耗时明显
  • 细粒度情感控制不如专用配音工具
  • 需要一定工程能力才能跑通部署
✦ 核心功能
  • 多说话人对话合成
  • 长音频连续生成
  • 说话人切换自然
  • 支持中英等多语言
  • 可本地部署
  • 开源权重与推理代码

简介

VibeVoice 是微软开源的一系列语音合成模型,核心卖点不是「单句好听」,而是「整段对话能听」。传统 TTS 生成多人对话时,需要把每句话拆开合成再拼接,容易出现音色漂移、语调不连贯、停顿生硬的问题。VibeVoice 把说话人信息作为条件直接建模,可以在一次推理里生成长时间的多说话人音频。

核心能力

多说话人建模:输入带说话人标记的脚本(如「说话人1:… 说话人2:…」),模型会为每个角色分配稳定音色,并在轮次切换时自然过渡。

长音频生成:适合生成十几分钟甚至更长的对谈内容,用于播客、有声书、课程与访谈类素材。

开源可自托管:权重与推理代码公开,可以在自己服务器上跑,敏感数据不必上传第三方。

多语言:以中英为主,覆盖常见的对话场景用语。

怎么用

  1. 按 GitHub 仓库说明安装环境并下载模型权重(建议显存充足的 GPU);
  2. 准备带说话人标签的脚本,指定每个角色的参考音色;
  3. 调低批量并发,先跑短片段验证音色与停顿,再生成完整长音频;
  4. 后期可用 Audition、Adobe Podcast 等做降噪与音量统一。

适合谁

播客与对谈类内容制作方、需要批量产出有声内容的自媒体,以及想把 TTS 放进自己内网、对数据合规有要求的团队。如果你只需要单人对白或商用配音的成品体验,使用商业 TTS 服务通常更省事。