VibeVoice TTS

注意：默认仅下载 1.5B 模型。若选择 7B 模型启动，将额外下载约 32GB 的模型文件。大模型对显存要求更高，请根据您的硬件配置酌情下载。

1. 什么是 VibeVoice？

VibeVoice 是由微软（Microsoft）研发团队开发并开源的前沿语音合成（TTS）技术框架。不同于市面上常见的“单人短文本”语音朗读工具，VibeVoice 是一款专门为了生成高质量、长篇幅、多角色对话（如 AI 播客、广播剧、小说有声书、多语伴聊天）而设计的音频内容创作引擎。

2. 底层使用了什么技术？

VibeVoice 在架构上融合了当今最先进的 AI 理念：

• 大语言模型（LLM）底层： 以强大的开源大模型（如 Qwen2.5 1.5B 级别）作为思维底座，这让它能像人类一样“读懂”上下文的语境、情感起伏和对话的逻辑。
• 下一代 Token 扩散架构（Next-Token Diffusion）： 结合了扩散模型（Diffusion Head），能够精细地还原声音中高保真的细节，让音质更加细腻。
• 超低帧率语音分词器（Continuous Speech Tokenizers）： 独创的 7.5 Hz 超低帧率技术，让 AI 处理超长文本时的计算效率大幅提升。

3. 产品特点

✨ 核心优点：

• 多角色完美同台： 最多支持 4 个不同的角色（Speakers） 在同一个音频里像真人一样轮流对话，模型能极其自然地处理说话时的语气交替和停顿，甚至能表现出人类聊天时自发的情感爆发、叹气甚至哼唱。
• 超长篇幅一次搞定： 突破了传统 TTS 只能生成几十秒或几分钟的限制。它支持高达 64K 的超长上下文，单次最多可以稳定生成长达 90 分钟 的连贯音频，且前后音色保持高度一致。

⚠️ 中文支持不够完善 虽然底层使用的是对中文理解极强的 Qwen2.5 大模型，但因为微软在训练 VibeVoice 的语音部分时，使用的中文字音数据集远少于英文，导致中文 TTS 存在以下问题：

• 带有“外国口音”（Systematic Accent）： AI 在朗读中文时，经常会带有非常明显的“欧美口音”或“歪果仁说中文”的腔调，听起来不够接地气。
• 中文标点容易引发“语塞”与杂音： 模型对中文的全角标点（如 ，、。、：、“”）识别不稳定。
• 多音字与特殊文本极易读错： 缺乏传统 TTS 的“文本正则化（Text Normalization）”保护。遇到中国人的多音字（如“还”、“行”、“大”）、阿拉伯数字（如 123 读成 one-two-three 还是一百二十三）、或者特殊网络符号时，可能读错或跳过。

⚠️ 潜在缺点与局限：

• 对电脑硬件有一定要求： 即使是 1.5B 模型也需要较好的显卡（显存）来流畅运行，如果用户想体验更高质量的 7B 模型，对本地电脑的配置要求会成倍增高。
• 偶尔具有大模型的“幻觉”： 由于底层是纯大模型且没有强行加入传统的“文本正则化”死板规则，它有时可能会对某些特殊中文标点产生误读，语速过快时可能会有极小概率的漏字，或者在不合时宜的地方自发带入轻微的背景音乐或呼吸杂音（俗称“幻觉”）。