让机器像人一样听音乐,Facebook开源Demucs项目

作者: 张路 2020-03-09 10:00:35

 

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

音乐源分离,是利用技术将一首歌曲分解成它的组成成分,如人声、低音和鼓。这和人类大脑的工作很类似,大脑可以将一个单独的对话,从周围的噪音和一屋子的人聊天中分离出来。

如果你拥有原始的录音室多轨录音,这很容易实现,你只需调整混音来分离一个音轨。但是,如果你从一个普通MP3音频文件开始,所有的乐器和声音都被混合到一个立体声录音中,即使是最复杂的软件程序也很难精确地挑出一个部分。

Facebook AI 的研究人员已经开发了一个系统,可以做到这一点——精确度高得惊人。

创建者名叫亚历山大·笛福兹(Alexandre Defossez),是Facebook人工智能巴黎实验室的科学家。笛福兹的系统被称为Demucs,这个名字来源于“音乐资源深度提取器”,其工作原理是检测声波中的复杂模式,对每种乐器或声音的波形模式建立一个高层次的理解,然后利用人工智能将它们巧妙地分离开来。

笛福兹说,像Demucs这样的技术,不仅能帮助音乐家学习复杂的吉他即兴重复段落;总有一天,它还能让人工智能助手在嘈杂的房间里更容易听到语音指令。

笛福兹说他的目标是让人工智能系统擅长识别音频源的组成部分,就像它们现在可以在一张照片中准确地区分不同的物体一样。“我们在音频方面还没有达到同样的水平,”他说。

分解声波的更好方法

声源分离长期以来一直吸引着科学家。1953年,英国认知科学家科林·切里(Colin Cherry)创造了“鸡尾酒会效应”这个词语,用来描述人类在拥挤嘈杂的房间里专注于一次谈话的能力。

工程师们首先试图通过调整立体声录音中的左右声道,或调整均衡器设置来提高或降低某些频率,从而隔离歌曲的人声或吉他声。

基于声谱图的人工智能系统,在分离出以单一频率响起或共振的乐器的音符方面相对有效,例如钢琴或小提琴旋律。

这些旋律在声谱图上显示为清晰、连续的水平线。但是隔离那些产生残余噪音的撞击声,比如鼓,低音拍击,是一项非常艰巨的任务。鼓点感觉像一个单一的、实时的整体事件,但它实际上包含了不同的部分。对于鼓来说,它包括覆盖较高频率范围的初始撞击,随后是在较低频率范围内的无音高衰减。笛福兹说,一般的小鼓“就频率而言,到处都是”。

声谱图只能将声波表现为时间和频率的组合,无法捕捉到这样的细微差别。因此,他们将鼓点或拍子低音处理成几条不连续的垂直线,而不是一个整齐、无缝的声音。这就是为什么通过声谱图分离出来的鼓和低音轨道,听起来常常是模糊不清的。

足够聪明的系统来重建缺失

基于人工智能的波形模型避免了这些问题,因为它们不试图将一首歌放到时间和频率的僵化结构中。笛福兹解释说,波形模型的工作方式与计算机视觉相似,计算机视觉是人工智能的研究领域,旨在让计算机学会从数字图像中识别模式,从而获得对视觉世界的高级理解。

计算机视觉使用神经网络来检测基本模式——类似于在图像中发现角落和边缘——然后推断更高级或更复杂的模式。“波形模型的工作方式非常相似,”笛福兹说。他解释了波形模型如何需要几秒钟来适应歌曲中的突出频率——人声、低音、鼓或吉他——并为每一个元素生成单独的波形。然后,它开始推断更高比例的结构,以增加细微差别,并精细雕刻每个波形。

笛福兹说,他的系统也可以比作探测和记录地震的地震仪。地震时,地动仪的底座会移动,但悬挂在上面的重物不会移动,这使得附着在重物上的笔可以画出记录地面运动的波形。人工智能模型可以探测到同时发生的几个不同的地震,然后推断出每个地震的震级和强度的细节。同样,笛福兹的系统分析并分离出一首歌曲的本来面目,而不是根据预先设定的声谱图结构来分割它。

笛福兹解释说,构建这个系统需要克服一系列复杂的技术挑战。

他首先使用了Wave-U-Net(https://github.com/f90/Wave-U-Net)的底层架构,这是一个为音乐源分离开发的早期人工智能波形模型。但是他有很多工作要做,因为声谱图模型的表现优于Wave-U-Net。他通过添加线性单元来微调波形网络中分析模式的算法参数。笛福兹还增加了长短期记忆,这种结构允许网络处理整个数据序列,如一段音乐或一段视频,而不仅仅是一个数据点,如图像。笛福兹还提高了Wave-U-Net的速度和内存使用率。

这些修改帮助Demucs在一些重要方面胜过Wave-U-Net,比如它如何处理一种声音压倒另一种声音的问题。“你可以想象一架飞机起飞,引擎噪音会淹没一个人的声音,”笛福兹说。

以前的波形模型,通过简单地移除原始音频源文件的一部分来处理这个问题,但是它们不能重建丢失材料的重要部分。笛福兹增强了Demucs解码器的能力,“Demucs可以重新创建它认为存在但却迷失在混音中的音频。” 这意味着他的模型可以重新合成可能被响亮的铙钹声丢失的柔和的钢琴音符,因为它理解应该呈现什么样的声音。

这种重构和分离的能力使Demucs比其他波形模型有优势。笛福兹说,Demucs已经与最好的波形技术相匹配,并且“远远超出”最先进的声谱技术。

在盲听测试中,38名参与者从50首测试曲目中随机抽取8秒钟进行听音,这50首曲目由三个模型分开:Demucs、领先波形、频谱图技术。听众认为Demucs在质量和无伪影(如背景噪音或失真)方面表现最佳。

Demucs已经引起了人工智能爱好者的兴趣,精通技术的读者可以从GitHub下载Demucs的代码(https://github.com/facebookresearch/demucs)。代码用MusDB数据集来分离音乐源。

笛福兹解释说,随着Demucs的发展,它将为人们在家中创作音乐的数字音频工作站带来声音的真实性。这些工作站提供了能够唤起特定时代或风格的合成仪器,通常需要对原始硬件进行大量的数字化改造。

想象一下,如果音乐源分离技术能够完美地捕捉20世纪50年代摇滚歌曲中用电子管放大器演奏的老式空心体电吉他的声音。Demucs让音乐爱好者和音乐家离这一能力更近了一步。

via:https://tech.fb.com/one-track-minds-using-ai-for-music-source-separation/

人工智能 机器学习 技术
上一篇:你可能会错过的3个重要AI趋势 下一篇:客户参与的5个主要人工智能趋势
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

自我监督学习:AI技术的未来发展方向

尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持。

佚名 ·  17h前
李飞飞团队研发家用AI系统 可监测独居老人新冠症状

日前,在斯坦福大学以人为本人工智能学院(HAI)的一场直播上,斯坦福大学计算机学教授李飞飞向外界介绍了人工智能家用系统,它可以跟踪居民的健康状况,包括新冠肺炎的症状,同时还能确保隐私。

王心馨 ·  22h前
这项开源视频抠图技术火了!换背景的方法着实真假难辨

绿幕是影视剧中抠图、换背景的利器,但如果不在绿幕前拍摄,我们还能完美地转换背景吗?华盛顿大学的研究者最近就上传了这样一份论文,不在绿幕前拍摄也能完美转换视频背景,让整个世界都变成你的绿幕。

Racoon、张倩 ·  22h前
AI技术在医药行业中的作用越来越大

AI可以帮助科学家和生物技术专家简化药物发现和开发的过程,协助诊断,并使通常会浪费时间和人力资源的重复性工作任务自动化……

佚名 ·  1天前
2025年智慧城市AI软件市场将增长700%

分析师机构Omdia的最新分析显示,全球智能城市人工智能(AI)软件市场将从2019年的6.738亿美元增长到2025年的49亿美元,这意味着七倍的增长。

佚名 ·  1天前
实现人工智能价值的5个障碍以及克服它们的方法

正如媒体所报道的,在实施人工智能的过程中确实存在着技术障碍,因而BCG和Gartner的专家们讨论了在企业中部署人工智能的五个陷阱,以及成功的解决方案。

Clint Boulton ·  1天前
谷歌前董事长:人工智能无法自己开创市场

人工智能对于商务运作方式正在产生越来越大的影响,而且人工智能也正在开辟各种想象不到的商机。未来不是由机器支配,未来由拥有无限想象力的人支配。

佚名 ·  1天前
人工智能取得重大突破,意识识别已经实现

这只是一个开始,但是却非常令人兴奋:将大脑活动转化为文本的系统。对于那些无法说话的人,例如患有锁定综合征的人,这将改变生活。

秦枫时尚范 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载