AI做“军师”?先赢过Reddit用户再说吧

作者: 佚名 2020-04-16 14:52:50

 

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

日前,西雅图的研究人员推出了一项被他们称为“TuringAdvice”的新人工智能大挑战,挑战的核心是创建语言模型,为使用真实世界语言的人类提供有用的建议。

TuringAdvice挑战赛是基于动态的RedditAdvice数据集而发起的。Reddit advice是为迎接挑战而创建的,它是一个众包的数据集,在过去两周里共享的建议在Reddit小组中获得了最多的支持票。为了通过挑战,机器提供的建议必须要与那些受欢迎的人类建议一样有用,甚至更好。

作为TuringAdvice的一部分,研究人员还发布了一个静态RedditAdvice 2019数据集,用于训练提供建议的人工智能模型,其中包括Reddit子社区用户分享的18.8万个情景下的61.6万条建议。

初步分析表明,像谷歌T5(去年秋天推出的一个拥有110亿个参数的模型)这样的高级模型,只有在9%的情况下,写建议版主发现至少和人类建议一样有用。研究人员还评估了Grover变压器模型和TF-IDF的版本。这项研究没有评估像Google的BERT这样流行的双向NLP模型,因为它们通常被认为在生成文本方面不如从左到右的模型。关于人际关系、法律事务和日常生活方面的建议,可以在网上找到人机对比演示。

最近发布的一篇关于TuringAdvice的论文写道:“今天最大的模型在REDDITADVICE上苦苦挣扎,所以我们很高兴看到新模型得到发展。”

“我们认为,如今存在一个深层次的问题:人类在现实世界中如何使用语言,与我们的评估方法能够衡量的,这二者之间存在差距。当今的主流范式是研究静态数据集,并根据输出结果与预先定义正确答案的相似性对机器进行评级。”

“然而,当我们在现实世界中使用语言进行交流时——比如提供建议,或向某人传授一个概念——很少有一个通用的正确答案可以与之相比,这只是我们想要实现的一个松散的目标。我们引入了一个框架来缩小基准测试和实际语言使用之间的差距。”

作者们表示,TuringAdvice挑战赛中的AI进展,可能会使人工智能更好地为人类提供建议或充当虚拟治疗师。

为了确保结果与真实世界的语言使用保持一致,研究小组选择了一种动态评估方法,他们在最近两周内从Reddit的各个子社区收集了200个情况。他们选择把建议作为一个测试场景,因为它是所有人都非常熟悉的东西,并且与阅读理解等核心NLP任务重叠。

TuringAdvice挑战是华盛顿大学和艾伦人工智能研究所(Allen Institute of AI)的工作,上周在arXiv上发表的一篇研究论文对此进行了详细阐述。该论文题为根据机器的实际语言使用情况来评估机器》(evaluation Machines by their Real-World Language Use)。华盛顿大学副教授Ali Farhadi是艾伦研究所先前团队的负责人,也是本文的合著者之一,他的人工智能初创企业Xnor最近被苹果收购。

所有的模型性能评估都来自于通过亚马逊的Mechanical Turk雇佣的人员。这篇论文曾对获取人工智能模型培训数据的方式表示不满,但它认为,比起发布自动化机器建议来回应需要帮助的人类,雇佣Mechanical Turk员工的做法更有道德;它也承认,获得报酬来完成这项任务会引入外部动机。倾向于选择机器建议而非人类建议的工人被解雇了。

首席研究员Rowan Zellers在采访中透露,研究人员将有机会创建并调整他们的模型;第二轮排行榜结果预计将在未来几个月内公布。

研究人员表示,他们选择了Reddit各子社区分享的流行建议,试图创造一种内在的动力,就像人们在Reddit上响应求助时所体验的那样。

TuringAdvice挑战赛的一个关注点是价格。评估200条关于Mechanical Turk的建议大概需要370美元。未来挑战赛的参与者将被要求支付Mechanical Turk的费用,以便他们的模型被评估或出现在TuringAdvice排行榜上。

TuringAdvice是过去一年中为建立更健壮的自然语言模型而创造的最新挑战。去年秋天,华盛顿大学的NLP实验室曾与纽约大学、Facebook的AI研究院和三星研究院一道,推出了SuperGLUE挑战赛和“排行榜”(leaderboard)这一个更复杂的评估性能的任务系列。

AI Reddit 人工智能
上一篇:熊猫可人脸识别?大熊猫迎来熊生高光时刻,以后终于可以认清我了 下一篇:简析1.3亿元无人驾驶公交系统集采:车联网商用已具备条件
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI安全对抗中,只用一招轻松骗过五种神经网络

图像识别作为人工智能最成熟的应用领域,已经大规模落地并服务于人们的日常生活。但在大规模商业化的同时,也面临更多方面的威胁。

张鑫 ·  1天前
盘点人工智能十大经典应用领域、图解技术原理

本文通过案例分门别类地深入探讨人工智能的实际应用。案例甚多,此处所列举的仅是九牛一毛。本该按行业或业务对这些案例进行分类,但相反我选择按在行业或业务中最可能应用的顺序来分类。

Alex Castrounis ·  1天前
详解人工智能十大经典应用领域及其技术原理

本文通过案例分门别类地深入探讨人工智能的实际应用。案例甚多,此处所列举的仅是九牛一毛。本该按行业或业务对这些案例进行分类,但相反我选择按在行业或业务中最可能应用的顺序来分类。

华章科技 ·  1天前
目标驱动系统模式,能否成为实现人工通用智能(AGI)的关键?

组织开发AI方案时采取的一大核心模式,正是目标驱动型系统模式。与其他AI模式一样,这种形式的AI能够解决一系列原本需要人类认知能力才能处理的常见问题。

佚名 ·  1天前
后疫情时代的八大关键技术发展趋势

建立必要的基础架构以支持数字化世界并保持比较新的技术,这对于任何企业或国家在后疫情时代的世界中保持竞争力都至关重要。

Ahmed Banafa ·  2天前
从AI测温到安防机器人 智能安防会是新的“守门神”吗?

说起安防系统,很多人的脑海中会先冒出“监控摄像头”,“电子门禁”等字眼,而随着人工智能的加速发展,传统的安防系统短板也在逐渐暴露,越来越多的新功能开始被需要:人脸识别、车辆检测、夜间识别等等,而我们小时候幻想过的机器人站岗的场景,也正在逐渐变成现实……

王嘉陆 ·  2天前
疫情期间,如何借AI之力持续提升客户忠诚度?

无论是保险公司Farmers Insurance,保险公司Tryg,还是通用汽车金融公司GM Financial,现在纷纷转向聊天机器人与AI技术,借此在疫情时期稳定客户群体。

佚名 ·  2天前
了解有关符号人工智能,象征性AI的好处和局限性

如今,人工智能主要是关于人工神经网络和深度学习。但这并非总是如此。实际上,在过去的十年中,该领域大部分都由象征性人工智能主导,也被称为“经典AI”,“基于规则的AI”和“老式的AI”。

AI国际站 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载