这个AI能用Lady Gaga曲风续写贝多芬,网友们纷纷玩得不亦乐乎

作者: 杨晓凡 2019-04-30 13:17:36

编者按:OpenAI 前几日突然在 Twitch 展开直播。此前,OpenAI 的每次 DOTA2 直播都是在这里进行的,但这次的内容不再是电子游戏了,而是直播 AI 创作的曲子。OpenAI CTO Greg Brockman 都调侃说:「六个月前我也想不到我们会把直播频道的分类从 DOTA2 换成音乐和表演」。

这个AI能用Lady Gaga曲风续写贝多芬,网友们纷纷玩得不亦乐乎

直播的主角是 OpenAI 新创造的作曲 AI「MuseNet」,它可以创作不同风格的、时长达 4 分钟的乐曲,风格可以根据不同的作曲者变化(巴赫、贝多芬、Oscar Peterson、Frank Sinatra、Bon Jovi)、不同的风格变化(Jazz、Albeniz、电影配乐、乡村、印度宝莱坞、迪士尼),而且乐曲中可以使用 10 种不同的乐器。「MuseNet」使用的是和前段时间 OpenAI 的文本生成模型 GPT-2 类似的大规模 Transformer 模型,而且为了增强它的长序列建模能力,「MuseNet」也使用了雷锋网 AI 科技评论刚刚介绍过的稀疏注意力技术。继上次用 GPT-2 生成接近人类水准的短文之后,OpenAI 俨然已经成为了长序列建模的小能手。

学习音乐毕竟是一件有难度的任务,不同的乐器有不同的音色,不同的曲风也有各自的微结构。所以 OpenAI 的做法是让模型学习并预测 MIDI (音符、控制参数等组成的数字音频信号,可以用 MIDI 播放器播放),而不是学习原始音频波形;同时 OpenAI 也为模型设计了对应作曲者和乐器的 token,简化数据参数。

在稀疏 Transformer 的重新计算以及优化过的核心帮助下,MuseNet 被设计为一个 72 层、具有 24 个注意力头的网络,它可以在 4096 个元素长度的内容上进行完整的注意力操作。正因为它能够处理的序列足够长,所以它可以记住曲子中的长段结构,完成段落的重复以及变化。

为了让模型更好地控制乐曲主体内容的结构,OpenAI 为模型设计了多种不同的嵌入。除了正常的位置嵌入之外,他们额外让模型学习一个嵌入,用它来追踪每个样本中已经经过的时间。这样,所有同时响起的音符都会具有同样的时间嵌入。他们还为和弦中的每个音符增加了一个嵌入(这种做法类似于相对注意力,当模型需要生成第四个音符的时候它会提供第三个音符作为参考,也就让模型更容易学习)。***,他们还增加了两种不同的结构嵌入,它们的共同作用是告诉模型某一段音乐在更大的曲目范围内的位置;其中,***个嵌入会把大段音乐分为128个部分,第二个嵌入会从127到0倒数,表示距离结尾还有多远。

模型的效果是惊人的,不仅当天的 Twitch 直播中演示的不同风格的曲目辨识度高、旋律自然,而且 OpenAI 在介绍博客中展示的混搭生成结果(从某首知名乐曲中取一个小节作为开头,然后让模型以其他的风格续写,模型会给出四种结果),以及好奇的网友们利用 OpenAI 提供的试验工具生成的乐曲都让大家无比钦佩。我们推荐大家到 MuseNet 的官方介绍页面亲自尝试混搭续写工具以及听听已有的生成乐曲。

这个AI能用Lady Gaga曲风续写贝多芬,网友们纷纷玩得不亦乐乎
用Lady Gaga曲风续写贝多芬的《致爱丽丝》,来自 OpenAI 技术博客

这个AI能用Lady Gaga曲风续写贝多芬,网友们纷纷玩得不亦乐乎
用肖邦曲风续写Adele的《Some One Like You》,来自 OpenAI 技术博客

这个AI能用Lady Gaga曲风续写贝多芬,网友们纷纷玩得不亦乐乎
4 月 25 日的 Twtich 作曲直播录像,此前OpenAI自己的工作人员都没有听过这些乐曲;来自 OpenAI 技术博客

OpenAI 还根据嵌入的学习结果制作了不同作曲者之间的相似度关系图,也和我们日常的认知非常相符。

在 OpenAI 的研究人员们看来,音乐生成任务的难度介于文本和图像之间,它具有和文本类似的灵活的序列结构(比如图像中可以固定地参照前 N 个元素,而文本和音乐中的这个数字大小是不固定的)。他们收集了训练数据集并尝试了不同的训练技巧。

这项研究实在是生动有趣,OpenAI 也希望大家多多参与活动,多多讨论和反馈,也帮助他们选定这项研究的下一步目标。公开参与的时间一直持续到 5 月 12 日,大家快到 openai.com/blog/musenet/ 玩玩听听看吧!

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

OpenAI 曲风 音乐
上一篇:吴军:未来20年,人工智能可能不会有巨大的发展! 下一篇:国外无人机配送商业化“驾照”已落地 国内还要多久?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI如何变革音乐产业?

与其它行业一样,在音乐行业,AI技术能够实现服务自动化、发现大量数据集中的模式与见解、并提高执行效率。

佚名 ·  2019-07-09 06:30:06
机器学习如何发现你喜欢的音乐:音乐个性化推荐背后的科学原理

我希望本文可以对你有所启发,并且像当时它对我一样能够激起你的好奇。怀着对幕后的机器学习技术的了解和感激之情,现在我将通过我自己的每周发现来寻找我喜欢的音乐。

Python开发者 ·  2018-04-19 10:20:19
神经网络求解新思路:OpenAI用线性网络计算非线性问题

我们展示了深度线性网络(使用浮点运算实现)实际上并不是线性的,它可以执行非线性计算。我们利用这一点使用进化策略在线性网络中寻找参数,使我们能够解决重要问题。

JAKOB FOERSTER ·  2017-10-09 11:21:46
人工智能如何帮助痴呆症患者更独立地生活

在越来越多的人患有老年痴呆症,以技术为支撑人类照顾者和改善患者生活质量是当今的一种方式。特别是,我们希望使用技术来帮助痴呆症患者尽可能独立地生活。

美刻吃瓜 ·  10h前
人工智能、5G应用不再停留在“纸上蓝图” 数字经济发展提速

10月20-22日,《财经》新媒体记者在第六届世界互联网大会上了解到,与往年不同的是,经过几年的沉淀,互联网企业不再停留于“纸上蓝图”阶段,人工智能、5G、物联网等新业态的多场景应用正在加速落地。

军事哥谈 ·  10h前
【大咖来了 第4期】数据驱动的产品决策和智能化

前stitch fix/snap数据科学主管王建强分享《数据驱动的产品决策和智能化》,回放链接:http://aix.51cto.com/activity/10012.html?dk=wz

summer ·  13h前
【大咖来了 第2期】快狗打车智能化演进之路

快狗打车高级经理胡显波分享的《快狗打车智能化演进之路》,回放链接:http://aix.51cto.com/activity/10010.html?dk=wz

summer ·  14h前
AI破译千年文物铭文能力超人类 正确率比人类高30%

随着科技不断进步,人工智能AI似乎也在各方面不断超越人类。近日,AI又在考古再一次胜过了人类。

佚名 ·  15h前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载