字节博士搞的AI火了,一键完美分离人声和伴奏
写歌填词、改换风格、续写音乐的AI,今天又来做编曲人了!
上传一段《Stay》,一键按下:
伴奏和人声就轻松分离:
https://mp.weixin.qq.com/s?__biz=M字节zIzNjc1NzUzMw==&mid=2247594465&idx=3&sn=83a18be3019dbecd6040031618d112dc&chksm=e8d1c博士693dfa64f85e7db0f5157d533361da6c8b71a9ceacdfc29a28399bd6d0bade7a046014f&token=497180065&搞的lang=zh_CN#rd
人声颇有种在空旷地带清唱的清晰感,背景乐都能直接拿去做混剪了!
这样惊人的效果也引发了Reddit热议:
这项研究的主要负责人孔秋强来自字节跳动,全球最大的古典钢琴数据集GianAItMIDI-Piano,也是由他在去年牵头发布的。
那么今天,他又带来了怎样的一个AI音乐家呢?
一起来看看。
基于深度残差网络的音源分离
这是一个包含了相位估计的音乐源分离(MSS)系统。
首先,将幅值(M火了agnitude)与相位(Phase)解耦,用以估计复数理想比例掩码(cIRM)。
其次,为了实现更灵活的幅值估计,将有界掩码估计和直接幅值预测结合起来。
最后,为MSS系统引入一个143层的深度残差,一网络(Deep Residual UNets),利用残差编码块(REB)和残差解码块(RDB)来增加其深度:
残差编码块和残差卷积块中间还引入了中间卷积块(ICB),以提高残差网络的表达能力。
其中每个残差键完编码块由4个残差卷积块(RCB)组成,残差卷积块又由两个核大小为3×3的卷积层组成。
每个残差解码块由8个卷积层和1个反卷积层组成。
实验结果
接下来,将这一系统在MUSDB18数据集上进行实验。
MU美分SDB18中的训练/验证集分别包含100/50个完整的立体声音轨,包括独立的人声、伴奏、低音、鼓和其他乐器。
在训练时,利用上述系统进行并行的混合音频数据增强,随机混合来自同一来源的两个3秒片段,然后作离人为一个新的3秒片段进行训练。
以信号失真率(SDR)作为评判标准,可以看到ResUNetDecouple系统在分离人声、低音、其他和伴奏方面明显优于以前的方法:
在消融实验中,143层残差网络的表现声和也证实了,结合有界掩码估计和直接幅值预测确实能够改善声音源分离系统的性能。
作者介绍
这项研究的论文一作为孔秋强,本硕都毕业于华南理工大学,博士则毕业于英国萨里大学的电子信息工程专业。
他在2019年加入字伴奏节跳动的Speech, Audio and Music Intelligence研究小组,主要负责音频信号处理和声音事件检测等领域的研究。
论文:
https://arxiv.org/abs/2109.字节05418
试玩:
https://huggingface.co/spaces/akhaliq/Music_Source_Separation
开源地址:
https://github.com/by博士tedance/music_source_separation
参考链接:
https://www.reddit.com/r/MachineLearning/comments/pqpl7m/r_dec搞的oupling_magnitude_and_phase_estimation_with/
相关文章:
相关推荐:
- 常用的大数据实时计算框架有哪些?
- 前DeepMind大神创业一年估值飙至80亿美元:Reflection AI要做美国版DeepSeek
- 云安全日报210121:IBM企业云技术全面集成平台发现执行任意代码漏洞,需要尽快升级
- 波士顿动力机器狗化身警犬入宅执法,网友:不想生活在《黑镜》里
- 标签: FOX Roku 流媒体 福克斯
- 马斯克宣布推出 “Grokipedia” 挑战维基百科
- 看不懂代码?AI给你做翻译,说人话的那种
- 未来已来!Lyft将于2027年推出数百辆智能机器人出租车
- 云计算核心技术Docker教程:为 Node.js 创建一个 Dockerfile
- 标签: 红熊AI 温德亮 企业级AI 记忆科学
- 标签: 奇安信 财报 研发投入 政府补助
- Apache Doris4.0正式发布:引领 AI 与搜索技术的新潮流
- 标签: 字节跳动 沐瞳 MobileLegends Savvy
- 美国云计算公司Salesforce拟以277亿美元价格收购Slack
- 标签: 豆包 SpaceX DeepSeek 梁文峰
- 构建开放生态 京东云发布国产适配产品矩阵
- 云安全日报210914:红帽Jboss中间件平台发现重要安全漏洞,需要尽快升级
- Adobe 招聘新标准:鼓励求职者使用 AI 展现“创造力+技术”双重技能
- 标签: 阿童木机器人 杨浩涌 新松机器人 工业机器人
- 标签: 华恒生物 郭恒华 樊义 非法吸收公众存款
