超强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

作者: 十三 鱼羊 2020-01-09 10:49:42

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

 一个搞文本生成的模型,还能用来干嘛?

好奇心很强的网友便拿OpenAI的GPT-2做了个实验。

原来,GPT-2除了能生成文本,竟然还能下象棋做音乐

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

△训练GPT-2下国际象棋

作者表示:

事实证明,只要让 GPT-2预测下一步棋,就可以训练它下国际象棋。

这只是花费了几天的小项目,但结果是相当令人兴奋。

除此之外,在更早的实验中,研究人员还发现GPT-2能作曲。

这也引起了网友们的热烈讨论。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

这简直太疯狂了,和玩得较差的人类尚可一搏。

GPT-2学会了下国际象棋,尽管它只是一种文本AI,但是还是能够从象棋符号文本的语料库中学习。

而且它对“棋盘”的概念一无所知。

不过,也有网友对此提出了质疑。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

我有一种感觉,它只是在开局的较为配合,从第11步开始就输出无效的“招式”了。

总的来说,这个技术看起来很糟糕,所以很难判断它对国际象棋有什么样的理解。

不过作为一个文本预测模型,在这样的游戏中能做出一些智能的举动,还是令人印象深刻的。

那么,GPT-2下国际象棋、做音乐,到底是怎么一回事呢?

下象棋、做音乐,GPT-2成跨界选手

用GPT-2来下象棋,最开始大概只是一个娱乐项目。作者肖恩·普莱斯(Shawn Presser)只用了一周的时间就完成了Demo。

之所以做出这样大胆的尝试,是因为他的胖友格温·布兰文(Gwern Branwen)不仅教会了GPT-2写诗:

美丽的湖,美丽的树林,(Fair is the lake, and bright the wood,)
垂满魅惑的花朵:(With many a flower-full glamour hung:)
美丽的浅滩,温柔的潮水(Fair are the banks; and soft the flood)
我们的舌头发出金色的欢笑。(With golden laughter of our tongue.)

还让GPT-2写出了爱尔兰民歌:

音乐_2.mp3

00:50.058

来自量子位
 

乍一听这个开头,甚至有点像孙燕姿的《遇见》。

实际上,布兰文是用Session & ABCnotation.com上的20多万首音乐作品对GPT-2模型进行了训练,这些作品将乐曲以字母文本的形式体现。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

所以,能不能通过e2e4(将棋子从e2位置移动到e4位置)这样的国际象棋指令集来训练GPT-2,让这个文本生成模型学会下棋呢?

答案是:可以。

普莱斯发现,仅仅经过一个小时的训练,GPT-2 1.5B模型就表现出了国际象棋“天赋”。

虽然在下了几步棋之后,就会出现无效移动,但这次实验还是证明了,制造GPT-2国际象棋引擎并非不可能。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

△第9步出现无效移动

于是,普莱斯又用2.4M数据训练了GPT-2 1.5B模型一整天,模型有所进步:直到第14步,它才出现了bug。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

接着,普莱斯“编写了一些代码以计算所有有效移动的概率”(作者并未作出具体解释),GPT-2可以将棋局推至残局了。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

普莱斯已经把他的代码部署到了Colab上,如果你想试试这只会下棋的GPT-2棋商如何,可以亲身前往挑战:

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

逆天的语言AI—GPT-2

去年2月,OpenAI发布了一个“逆天”的语言AI,名为GPT-2。

整个模型包含15亿个参数。

这个AI写起文章来文思泉涌毫无违和感,无需针对性训练就能横扫各种特定领域的语言建模任务,还具备阅读理解、问答、生成文章摘要、翻译等等能力。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

然而,当时假新闻实在编的太真实,所以OpenAI说:我们不敢放出完整模型。

人类只给了它两句话的开头:

科学家们有个令人震惊的发现,在安第斯山脉一个偏远且没被开发过的山谷里,生活着一群独角兽。更加让人讶异的是,这些独角兽说着完美的英文。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

AI就顺着这胡言乱语的设定,一本正经地编了下去:

这些生物有着独特的角,科学家们就以此为它们命名,叫Ovid’s Unicorn。长着四只角的银白色生物,在这之前并不为科学界所知。

虽然,这些生物的起源还不清楚,但有些人相信,它们是一个人和一个独角兽相交而诞生的,那时人类文明还不存在。Pérez教授说:“在南美洲,这样的现象很常见。”

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战
最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

效果惊人外,在各种特定领域数据集的语言建模测试中,GPT-2都取得了优异的分数

网友们对其完全开源的呼声越发强烈,于是在接下来的时间里,GPT-2经历了“挤牙膏式的开源”

它初出茅庐时先放出了124M版本的模型,然后是355M,再然后是774M。

经过9个月断断续续发布,OpenAI最终把15亿参数的完整模型放了出来。

实测结果如何?

OpenAI在博客里说,GPT-2的生成结果,有独立客观第三方的检验,令人信服:

团队在康奈尔大学的合作伙伴,对人类做了问卷调查,给GPT-2输出的文本打出可信分 (Credibility Score) ,各种大小的模型都参与了。

满分10分,大家给15亿参数模型的可信分是6.91。比7.74亿参数的模型 (6.72分) 和 3.55亿参数的模型 (6.07分) 都要高。

也就是说在人类眼里,15亿参数模型,比之前放出的那些模型,写出的文章更逼真了。

语言模型跨界引热议

超会编故事的NLP模型,现在还能写曲子、下象棋了,这件事引发了网友的热议,甚至吸引来了马库斯。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

英国作家Tom Chivers认为,这或许将打开通向AGI(通用人工智能)的新思路。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

有网友质疑说,这并不是对下棋这件事的“学习”,只是在统计学上将给定的开局动作与其相应的后续动作关联起来。GPT-2仅仅是给出了符合已知模式的结果。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

一位斯坦福CS博士则直言,可能使用非常古早的语言建模方法同样能实现这一结果。说GPT-2“学会下棋”是一种误导。

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

那么,你怎么看呢?

作者介绍

最强写作AI竟然学会象棋和作曲,语言模型跨界操作引热议,在线求战

△Shawn Presser

Shawn Presser,具有丰富的C++游戏引擎编程经验,是一位图形学编程人员、工具开发者。

2010年至2011年,就职于S2 Games,参与Heroes of Newerth游戏项目的相关工作。

2005年至2008年,就职于Simutronics,主要从事基于C++的项目开发工作。

传送门

Reddit:
https://www.reddit.com/r/MachineLearning/comments/elf66h/p_using_gpt2_to_play_chess/

博客:
https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/

作者资料:
https://www.linkedin.com/in/shawnpresser/

Demo:
https://colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR#scrollTo=8gxTLCKBQ3-F&forceEdit=true&sandboxMode=true

AI 数据 人工智能
上一篇:机器学习入门必读:6种简单实用算法及学习曲线 下一篇:AutoML取人代之?四个工程师两个数据集将之干翻!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

面部识别的利与弊:是福还是祸?

虽然现代技术使面部识别更加精确和安全,但与面部识别隐私问题和监控有关的担忧也在增加。因此,让我们在这篇文章中探讨一下这该技术的利与弊。

Naveen Joshi ·  2021-06-01 16:36:22
人工智能和5G如何结合以实现物联网收入最大化

网络系统通过信令和使用软件以及分析来检测和分类设备非常棘手,并且对有限且日益紧张的网络资源提出了巨大的需求。然而,解决这些问题有一个主要解决方案:采用人工智能、自动化和5G技术。

Jordi Castellvi ·  2021-06-01 13:49:15
MIT团队最新研究,仅靠LiDAR和2D地图实现端到端自动驾驶

最近, MIT 计算机科学与人工智能实验室(CSAIL)团队成功展示了一种基于机器学习的自动驾驶系统,该端到端框架仅使用 LiDAR获取的原始 3D 点云数据和类似于手机上的低分辨率 GPS 地图就能进行自主导航,并且大大提升了鲁棒性。

文龙 ·  2021-06-01 12:47:51
自然语言处理(NLP)的历史及其发展方向

自然语言处理的历史是一个充满曲折的故事。它从徒劳的研究开始,经过多年卓有成效的工作,最后结束于一个我们仍在试图找出该领域极限的时代。今天,让我们来一起探索这一AI科学分支的发展。

佚名 ·  2021-06-01 12:46:26
是福还是祸?人脸识别技术的利与弊

面部识别并不是一项全新的技术,但人工智能和机器学习不断使面部识别变得更好。苹果通过引入具有 3D 扫描功能的面部生物识别系统和 iPhone 的 Face ID,提高了面部识别的标准。

Naveen Joshi ·  2021-06-01 11:11:01
人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载