95后达摩院实习生击败微软,打破NLP最难任务世界纪录

作者: 金磊,元子 2019-07-17 16:48:00

阿里AI在常识QA领域的权威数据集CommonsenseQA上刷新世界纪录,超过微软取得***名,显著提升AI的常识推理能力。而这项技术,是一名叫做叶志秀的95后“实习生”,在达摩院科学家指导下完成的实习成果!

正所谓长江后浪推前浪,又一个“别人家的孩子多优秀”系列。

最近,一个年轻人火了:95后的实习生在常识QA领域的权威数据CommonsenseQA上刷新了世界纪录!

这位年轻人名叫叶志秀,他的这项工作是在达摩院科学家指导下完成的,并超越了微软,取得了***名的好成绩。

什么是CommonsenseQA?

CommonsenseQA是为了研究基于常识知识的问答而提出的数据集,比此前的SWAG、SQuAD数据集难度更高。目前***的语言模型BERT在SWAG、SQuAD上的性能已经接近或超过人类,但在CommonsenseQA上的准确率还远低于人类。

阿里巴巴达摩院语音实验室提出了AMS方法,显著提升BERT模型的常识推理能力。AMS方法使用与BERT相同的模型,仅预训练BERT,在不提升模型计算量的情况下,将CommonsenseQA数据集上的准确率提升了5.5%,达到62.2%。

95后达摩院实习生击败微软,打破NLP最难任务世界纪录

CommonsenseQA相关论文已在arXiv上发表,并获得NAACL 2019***资源论文

链接:

https://arxiv.org/pdf/1811.00937.pdf

95后达摩院实习生击败微软,打破NLP最难任务世界纪录

作者

Alon Talmor, Jonathan Herzig, Nicholas Lourie, and Jonathan Berant(以色列特拉维夫大学、艾伦人工智能研究所)

摘要

人们通常利用丰富的世界知识和特定语境来回答问题。近期研究主要聚焦于基于关联文档或语境来回答问题,对基础知识几乎没有要求。为了研究使用先验知识的问答,我们提出了一个关于常识问答的新型数据集 CommonsenseQA。为了捕捉关联之外的常识,我们从 ConceptNet (Speer et al., 2017) 中抽取了多个目标概念,它们与某个源概念具备同样的语义关系。

我们让众包工人编写提及源概念的选择题,并区分每个目标概念之间的差别。这鼓励众包工人编写具备复杂语义的问题,而问答这类问题通常需要先验知识。我们通过该步骤创建了 12247 个问题,并用大量强基线模型做实验,证明该新型数据集是有难度的。我们的***基线基于BERT-large (Devlin et al., 2018),获得了 56% 的准确率,低于人类准确率(89%)。

下图是构建 CommonsenseQA 数据集的过程示例:

95后达摩院实习生击败微软,打破NLP最难任务世界纪录

最聪明的AI的常识也不如一只猫

自然语言理解(NLP,Natural Language Processing)被誉为人工智能皇冠上的明珠,而常识推理是其中难度***的任务之一。

我们所谓的常识,指的是与生俱来、毋须特别学习便已经拥有的判断能力,或是众人皆知、无须解释或加以论证的知识。例如:打雷要下雨(磊欧);下雨要打伞(嘞奥)。

虽然在机器翻译、阅读理解等常用NLP任务上,AI的表现已接近人类水平,甚至在某些场景下已经超过人类水平,然而一旦涉及到常识推理方面就成了白痴。比如我们看到行人打着伞就能自然的想到外面可能在下雨;而AI可能会分辨出所有伞的种类,却无法做出“外面在下雨”的推断。

在包含1.2万多个常识问题的CommonsenseQA数据集上,现在已经能够达到56.7%的准确率,依然远低于人类的89%准确率。借用图灵奖获得者Yann LeCun的话,就是“最聪明的AI在常识方面都不如一只猫。”

但好在,如今这位阿里达摩院95后实习生的研究,将AI在常识推理方面的能力,向猫的水平推进了一步!

或许不久的将来,将会出现可以听懂人话的“猫”。就像,加菲一样?👇

95后达摩院实习生击败微软,打破NLP最难任务世界纪录

AI 数据 人工智能
上一篇:Uber 开源研究对话系统 Plato,用于开发和训练会话 AI 下一篇:历时两年,马斯克终发布「脑后插管」黑科技,革新脑机接口
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能是应对气候变化的新时代解决方案

气候变化是我们这个星球面临的最大挑战,人工智能可以帮助我们应对不断上升的全球气温。

Cassie ·  1天前
草图变真人脸?AI:可以,多草都行

这篇论文讲技术人员如何在styleGAN顶层训练了一个深度神经网络来学习将源图像映射到styleGAN模型的输入,最终输出高质量的目标图像。

丰色 ·  1天前
深度学习算法

深度学习算法在机器视觉中就如一个巧妙的接收转换器般的存在,它灵活、敏捷、“深度”与广度兼具,强悍的计算与预测能力可以称为其魅力之处。深度计算——可以集数亿个神经网络的自拟,对于数据、语音、图像等多种形式的资源进行分析、解释。

三姆森科技 ·  1天前
人工智能工程可以帮助组织充分利用人工智能

“人工智能”这一术语如今似乎无处不在,这在行业市场的应用中造成一些混乱,甚至可能让技术决策者感到困惑。

Bob Violino ·  1天前
人工智能赖以生存的大数据,掌握在垄断者的手中真的可怕

我至今还记得2016年那场旷世人机大战,人工智能软件“阿尔法狗”战胜世界围棋冠军李世石,那是一场标志性的比赛,打破了人们对人工智能的想象。

国学达人观世界 ·  1天前
中美欧人工智能发展现状比较分析

从投资、人才、研究、硬件、应用、数据多个维度,系统对比中、美、欧人工智能发展现状,最终得出结论称,美国当前依然保持着世界人工智能发展总体领先地位,中国在一些重要领域与美国的差距缩小,欧盟在三者中相对落后。

王璐菲 ·  1天前
基于机器学习的自动漏洞修复分析方法

。在本文中,我们提出了一个基于机器学习的自动化框架来自动化电力公司的修复决策分析。我们将其应用于一家电力公司,并对从该公司获得的两个真实运行数据集进行了大量实验。结果表明,该解决方案具有很高的有效性。

佚名 ·  1天前
通过细胞自动机,AI在「我的世界」学会了盖房子

许多研究采用了更为复杂的神经网络规则,被称为神经元细胞自动机(NCA)。但是其应用大多局限于2D结构,或是只能生成简单的3D结构。

子豪 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载