️ VibeVoice: 开源前沿语音AIVibeVoice是一个开源前沿语音AI模型家族涵盖文本转语音(TTS)和自动语音识别(ASR)模型。这一项目旨在通过持续的创新推动语音合成和识别领域的发展。创新亮点VibeVoice的核心创新在于采用了持续语音标记(tokenizers)这两种标记分别是声学标记和语义标记它们以7.5 Hz的超低帧率运作。这样可以有效保持音频的保真度同时显著提升处理长序列的计算效率。此外VibeVoice采用了上下文理解的**下一标记扩散(next-token diffusion)**框架利用大型语言模型(LLM)理解文本上下文和对话流同时用扩散头生成高保真声学细节。模型分类1. VibeVoice-ASR - 长时语音识别VibeVoice-ASR是一个统一的语音转文本模型能够在一个小时的时间内处理高达60分钟的长音频生成结构化的转录内容包括说话者(Who)、时间戳(When)和内容(What)同时支持用户自定义热词。 60分钟单次处理: 与传统ASR模型将音频切割成短片段不同VibeVoice ASR可以接收长达60分钟的连续音频输入保证了全局上下文的一致性。 自定义热词: 用户可以提供特定的热词显著提高领域特定内容的准确率。 丰富的转录信息: 模型能够同时进行ASR、发言者区分和时间戳标记提供结构化的输出。访问更多信息和文档 文档 Hugging Face Playground️ 微调指导2. ️VibeVoice-TTS - 长时多说话者文本转语音适用于: 长时对话音频、播客、多说话者对话⏱️ 90分钟长时生成:可以在一次处理过程中合成长达90分钟的对话或单说话者的语音保证说话者的一致性和语义连贯性。 多说话者支持: 在一场对话中最多可以支持4个不同的说话者实现自然的轮流讲话。 表现力强的语音: 生成带有情感细腻变化的自然语音。 多语言支持: 支持英语、中文等多种语言。访问更多信息和文档 文档 Hugging Face英语示例中文示例交叉语言示例自发唱歌示例包含四人长时间对话的示例3. ⚡VibeVoice-Streaming - 实时流式文本转语音VibeVoice-Realtime是一个轻量级的实时文本转语音模型支持流式文本输入和稳健的长时语音生成。参数规模0.5B适合部署实时TTS~300毫秒的首次可听延迟流式文本输入稳健的长时语音生成~10分钟访问更多信息和文档 文档 Hugging Face结论VibeVoice的发布不仅推动了语音合成和语音识别领域的前沿研究同时也是开源社区合作的一个典范。它可广泛应用于播客制作、语音助手、教育工具等多个场景为用户提供高质量的语音解决方案。除了VibeVoice外还有一些同类项目也展现出强大的功能Mozilla TTS: 开源的文本转语音系统擅长多种语言的自然发音合成。DeepSpeech: Mozilla开发的一个基于深度学习的ASR系统专注于高效的语音识别。Coqui STT: 一个社区驱动的自定义语音识别引擎灵活性和开放性较强适合各种应用场景。通过这些开源项目研究者和开发者们可以更加便捷地实现他们的语音相关应用推动AI技术的进步和发展。