微软开源 VibeVoice-1.5B 模型:90 分钟超长语音合成新突破
近日,微软研究院正式开源了其最新音频模型 ——VibeVoice-1.5B。该模型在语音合成技术上实现了多项重大突破,使得合成的微软语音更自然、时长更长、效果更优。
VibeVoice-1.5B 具备一次性合成90分钟超长语音的能力,这在以往的语音合成模型中是罕见开源的。之前,多数模型只能合成60分钟以内的语音,且在超过30分钟时容易出现音色漂移和语义断裂的问题。此模型还支持最多四位发言人发 V言,显著提高了多说话人的合成效果,而以往的开源模型最多只能支持两位发言者。此外,VibeVoice 还实现了对24kHz 原始音频ib的3200倍压缩,大大提高了压缩效率,且保留了高保真的语音效果。
VibeVoice 模型的核心在于其独特的双 tokenizer 架构。eV与传统 TTS 模型多依赖单一 tokenizer 提取特征不同,VibeVoice 创新性地引入了声学 tokenizer 与语义 tokenioizer 的协同工作机制,解决了音色与语义不匹配的问题。声学 tokenizer 专注于保留声音特征并实现极致压缩,而语义 tokenizecer 则负责提取与文本语义相一致的特征,确保合成语音的情感与文本内容一致。
在训练方面,VibeVoice 采用了课程学习策略,将输入序列长度-1逐步增加,从而避免了因处理超长序列而导致的训练失败。其训练过程中的声学 tokenizer 与语义 tokenizer 参数保持不变,确保了特征.5提取模块的稳定性,进而缩短了训练周期。
VibeVoice-1.5B 的开源不仅为语音合成领域带来了新的技术突破,也为未来更大参数模型B 的发布奠定了基础。对于音频处理和语音合成的研究人员和开发者来说,这是一个值得关注的创新进展。
开源地址:https://huggingf模型ace.co/microsoft/VibeVoice-1.5B
在线demo:https://aka.ms/VibeVoice-:9Demo
划重点:
VibeVoice-1.5B 模型可一次性合成90分钟的超长语音,支持最多四位发言人。&0 nbsp;
该模型实现3200倍的音频压缩率,保持高保真语音效果。
🤖 采用双 tokenizer 架分钟构,解决音色与语义不匹配的问题。
相关文章:
- 历史性逆转!谷歌Gemini终结ChatGPT霸榜神话,登顶美区iOS免费榜
- ComfyUI完成3000万美元融资:估值达5亿美元,用户数突破400万
- 标签: 追觅 俞浩 裁员 融资创业
- Facebook将为开发者创造线下交易 绕过苹果30%的分成
- 标签: 华工科技 激光行业 光互联 新能源汽车PTC
- 云计算核心技术Docker教程:Docker Swarm 模式控制服务在不同节点上的规模和位置
- 云计算开发:Python内置函数-round()函数详解
- Siri要翻身了?苹果明年三月推“Apple Intelligence”大改版,竟用上谷歌Gemini!
- 云安全日报210926:Debian Linux内核发现特权提升,信息泄露漏洞,需要尽快升级
- Hadoop,大数据离不开它
相关推荐:
- 如何使用TensorFlow构建机器学习模型
- 标签: 丰茂烤串 尹龙哲 欠薪事件 餐饮连锁
- 标签: 中国电信 天翼云 5G网络 智能收入
- 小红书发布DynamicFace人脸生成技术,实现高质量图像视频人脸融合
- 马来西亚芯片突破!SkyeChip发布该国首款边缘AI处理器,摆脱对美依赖迈出关键一步
- 标签: 英伟达 黄仁勋 中国电信 Token套餐
- 选举将至 Facebook仅在佐治亚州解除政治广告禁令
- 以色列发现苹果软件漏洞 苹果声称已修复
- 图书馆借阅应用强推AI功能引众怒!读者和图书管理员集体抵制
- 鑻规灉楂樼�瑙h�2021璐㈠勾Q3璐㈡姤锛氫腑鍥界敤鎴峰�iPhone 12 Pro鍙嶅搷寰堢儹鐑�
- 云计算开发:Python练习实例-按数列和
- 零代码也能当"导演"!智元推出机器人内容创作平台"灵创"
- Arc的幽灵重生!6.1亿美元收购案后,Dia浏览器确认继承“前辈”衣钵,AI架构融合经典设计
- 标签: 思科 人工智能 罗宾斯 云服务商
- 谷歌推出AI智能体代购新协议AP2,让智能助手轻松购物
- 标签: 浦发银行 2025年报 不良贷款率 财富管理
- ChatGPT狂飙之下 云计算加速键启动?
- 标签: 亚马逊海外购 黑五购物季 赛利船长 进口超市
- OpenAI 联手高通联发科研发手机芯片,立讯精密斩获独家代工并定于2028年量产
- 云计算核心技术Docker教程:Docker Hub覆盖构建和定制构建阶段挂钩
