阿里打破自然语言理解世界纪录,AI常识推理水平正在逼近人类
近日,阿里AI在常识QA领域的权威数据集CommonsenseQA上刷新世界纪录,显著提升AI的常识推理能力。这一技术是“95后”实习生叶志秀在达摩院科学家指导下完成的实习成果。
CommonsenseQA是为了研究基于常识知识的问答而提出的数据集,比此前的SWAG、SQuAD数据集难度更高。目前流行的语言模型BERT在SWAG、SQuAD上的性能已经接近或超过人类,但在CommonsenseQA上的准确率还远低于人类。
上图为CommonsenseQA数据集上的常识问题,大拇指朝上的选项为正确答案
自然语言理解(NLP,Natural Language Processing)是人工智能皇冠上的明珠,常识推理则是难度非常高的NLP任务之一。在机器翻译、阅读理解等NLP任务上,AI的表现已经接近或超过人类水平,阿里AI就先后在国际先进的机器翻译赛事WMT、机器阅读理解赛事SQuAD、文本阅读理解挑战赛MS MARCO等赛事夺冠甚至赶超人类纪录。
相比之下,AI的常识推理能力比人类差得多。常识是指绝大部分人都了解并接受的客观事实,比如盐是咸的、下雨了要打伞、村庄位于陆地上而非湖泊内等等。人在回答问题时,常会结合这些不言而喻的背景知识。但机器没有常识,无法将“马路上,人们撑着伞”的原始陈述与“外面正在下雨”的逻辑假设自动关联。
深度学习先锋人物之一、图灵奖获得者Yann LeCun 曾有断言:即使是非常聪明的AI在常识方面也不如猫。在包含1.2万多个常识问题的CommonsenseQA数据集上,时下流行的AI模型BERT的答题准确率为56.7%,远低于人类的89%。
阿里巴巴达摩院语音实验室提出了AMS方法,显著提升BERT模型的常识推理能力。AMS方法使用与BERT相同的模型,仅预训练BERT,在不提升模型计算量的情况下,将 CommonsenseQA数据集上的准确率提升了5.5%,达到62.2%。
上图为CommonsenseQA数据集的得分榜单,阿里AI刷新了世界纪录
阿里的技术突破将大幅提升下一代人机交互产品的常识理解能力,可应用于语音导航、智能电视、语音售票机等产品。
设想这样的场景:你开车寻找一个地处偏僻的村庄,村子不久前已经搬迁,但导航还没更新位置信息。村子所在地块被开挖成了人工湖,由于AI没有常识,导航直接就把你往湖心方向带。AI如果拥有常识,就不会犯这类“蠢萌”的错误。
达摩院表示今后将开源该模型和论文,与业界共享新的研究成果。


更多资讯推荐
- “人脸识别第一案”终审判决来了
-
4月9日下午3点,“人脸识别第一案”在杭州市中级人民法院迎来二审判决。这桩案件起源于游客郭某因不满杭州野生动物世界将年卡用户入园方式从指纹识别升级到人脸识别,而以侵犯隐私权和服务合同违约为由将杭州野生动物世界告上法庭。
浙江日报 · 14h前
- 人工智能的三个必要条件
-
2016年,AlphaGo下围棋战胜李世乭,大家都认为人工智能的时代到来了。人工智能也是同样的在一定的历史契机下,几个独立发展的领域碰巧合并在一起就产生了巨大的推动力。这一波人工智能发展的三个必要条件是:深度学习模型,大数据,算力(并行计算)。
麦教授说 · 14h前
- 企业在应用人工智能时不可不知的5个误区
-
研究表明,70%以上的企业如今将人工智能视为游戏规则的改变者。然而,目前使用人工智能或计划很快使用人工智能的企业不到40%。人们对人工智能重要性的认识差距仍然很大,以下是五个关于人工智能的常见误区或误解。
Geertrui Mieke · 1天前
- 智能交通信号灯让行动缓慢的行人有更多时间过马路
-
无论您是开车还是走路,无论您在哪里,交通信号灯都会让您烦恼。如果您带着小孩子或老人过马路,肯定特别希望信号灯能晚点变红。
iothome · 1天前
- 为什么信不过AI看病?数据集小、可靠性差,AI医疗任重道远
-
近年来,AI 在医疗诊断中的应用受到了越来越多的关注,也出现了一些实际的应用场景,如药物筛选、AI 诊断。但似乎正确的 AI 医疗诊断难以实现,这是哪些原因造成的呢?本文探讨并汇总了人们对 AI 医疗诊断的一些独到见解。
机器之心 · 1天前
- 滴滴自动驾驶发布全球首个5小时连续无接管路测视频
-
今天,滴滴自动驾驶发布全球首支自动驾驶连续5小时无接管视频。滴滴自动驾驶公司COO孟醒,邀请Udacity创始人兼董事长、谷歌无人驾驶项目创始人、被誉为“无人车之父”的Sebastian Thrun参与连线,一起讨论这支视频中的技术亮点。
新民晚报 · 2天前
- 人工智能将如何重塑房地产行业
-
随着数字化进程的不断推进,人工智能在促进房地产经济增长方面发挥着重要作用。
佚名 · 2天前
- 智能眼镜的采用终于在2021年到来
-
在一个越来越趋向远程或灵活工作的世界里,人们也在探索智能眼镜的力量,因为它能让视频会议更具身临其境和动态化。
Cassie · 2天前