阿里打破自然语言理解世界纪录,AI常识推理水平正在逼近人类

作者: 佚名 2019-07-16 11:13:06

近日,阿里AI在常识QA领域的权威数据集CommonsenseQA上刷新世界纪录,显著提升AI的常识推理能力。这一技术是“95后”实习生叶志秀在达摩院科学家指导下完成的实习成果。

CommonsenseQA是为了研究基于常识知识的问答而提出的数据集,比此前的SWAG、SQuAD数据集难度更高。目前流行的语言模型BERT在SWAG、SQuAD上的性能已经接近或超过人类,但在CommonsenseQA上的准确率还远低于人类。

阿里


上图为CommonsenseQA数据集上的常识问题,大拇指朝上的选项为正确答案

自然语言理解(NLP,Natural Language Processing)是人工智能皇冠上的明珠,常识推理则是难度非常高的NLP任务之一。在机器翻译、阅读理解等NLP任务上,AI的表现已经接近或超过人类水平,阿里AI就先后在国际先进的机器翻译赛事WMT、机器阅读理解赛事SQuAD、文本阅读理解挑战赛MS MARCO等赛事夺冠甚至赶超人类纪录。

相比之下,AI的常识推理能力比人类差得多。常识是指绝大部分人都了解并接受的客观事实,比如盐是咸的、下雨了要打伞、村庄位于陆地上而非湖泊内等等。人在回答问题时,常会结合这些不言而喻的背景知识。但机器没有常识,无法将“马路上,人们撑着伞”的原始陈述与“外面正在下雨”的逻辑假设自动关联。

深度学习先锋人物之一、图灵奖获得者Yann LeCun 曾有断言:即使是非常聪明的AI在常识方面也不如猫。在包含1.2万多个常识问题的CommonsenseQA数据集上,时下流行的AI模型BERT的答题准确率为56.7%,远低于人类的89%。

阿里巴巴达摩院语音实验室提出了AMS方法,显著提升BERT模型的常识推理能力。AMS方法使用与BERT相同的模型,仅预训练BERT,在不提升模型计算量的情况下,将 CommonsenseQA数据集上的准确率提升了5.5%,达到62.2%。

阿里


上图为CommonsenseQA数据集的得分榜单,阿里AI刷新了世界纪录

阿里的技术突破将大幅提升下一代人机交互产品的常识理解能力,可应用于语音导航、智能电视、语音售票机等产品。

设想这样的场景:你开车寻找一个地处偏僻的村庄,村子不久前已经搬迁,但导航还没更新位置信息。村子所在地块被开挖成了人工湖,由于AI没有常识,导航直接就把你往湖心方向带。AI如果拥有常识,就不会犯这类“蠢萌”的错误。

达摩院表示今后将开源该模型和论文,与业界共享新的研究成果。

阿里 自然语言理解 AI
上一篇:边缘计算时代的到来会给AI带来哪些影响? 下一篇:Gartner调查显示:企业机构预计在明年增加一倍的人工智能项目
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能辅助下社交媒体营销人员的十大戒律

如果我告诉你,在社交媒体中使用人工智能工具(并正确地使用)能够增强每名用户的消费者旅程,从而留下更多的用户,且留存时间更长,会怎么样呢?

读芯术 ·  4h前
2020~2030:人工智能将占据主导地位的十年

AntWorks预测,在未来十年中,很难找到一个没有利用AI来智能地自动化业务流程的行业。在所有行业中都有无数的AI用例,这是我们对2020年及以后的预测。

CDA数据分析师 ·  19h前
用机器学习备忘单解决艰巨问题,你行吗?

在本文中,我们将介绍如何使用备忘单简化机器学习方法,你可以使用该备忘单选择适合解决问题的正确算法。

读芯术 ·  1天前
AI人工智能在2020年的7个发展趋势

随着对其他AI应用程序需求的增长,企业将需要投资有助于其加快数据科学流程的技术。然而:实施和优化机器学习模型只是数据科学挑战的一部分。

CDA数据分析师 ·  2天前
一分钟搭建会话机器人,阿里是怎么做到的?

“防疫精灵”机器人最初从一个想法到上线钉钉,仅用了一个下午的时间,目前已累计至少服务了 500 万个钉钉用户。这看似“不可能”背后,是机器人工厂,这个强大的智能会话机器人孵化平台,以其成熟的 NLP 算法能力及 QA 问答能力,将一切变成了可能。

阡阳 ·  3天前
从零开始构建简单人工神经网络:1个隐藏层

我们在本文中将构建一个有1个输入层、1个隐藏层和1个输出层的神经网络。我们会看到,我们构建的神经网络能够找到非线性边界。

布加迪 ·  3天前
探究谷歌用于构建量子机器学习模型的新框架:TensorFlow Quantum

TensorFlow Quantum让数据科学家可以构建在量子架构上运行的机器学习模型。TensorFlow Quantum的核心概念是将量子算法和机器学习程序交织在TensorFlow编程模型中。谷歌称这种方法为量子机器学习,能够利用其最近的一些量子计算框架(比如谷歌Cirq)来实现它。

布加迪 ·  3天前
人工智能能否跨越意识鸿沟?

笔者将在本文探讨整个社会对人工智能的认知误区,并将其与专业研究人员和计算机科学家眼中的人工智能进行对比分析。

读芯术 ·  4天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载