继BERT之后,这个新模型再一次在11项NLP基准上打破纪录

作者: 思源 2018-12-24 09:42:53

 自 BERT 打破 11 项 NLP 的记录后,可应用于广泛任务的 NLP 预训练模型就已经得到大量关注。最近微软推出了一个综合性模型,它在这 11 项 NLP 任务中超过了 BERT。目前名为「Microsoft D36***I & MSR AI」的模型还没有提供对应的论文与项目地址,因此它到底是不是一种新的预训练方法也不得而知。

BERT 和微软新模型都采用了通用语言理解评估(GLUE)基准中的 11 项任务,并希望借助 GLUE 展示模型在广泛自然语言理解任务中的鲁棒性。其中 GLUE 基准并不需要知道具体的模型,因此原则上任何能处理句子和句子对,并能产生相应预测的系统都能参加评估。这 11 项基准任务重点衡量了模型在跨任务上的能力,尤其是参数共享或迁移学习的性能。

从微软新模型在 GLUE 基准的表现上来看,至少它在 11 项 NLP 任务中比 BERT-Large 更高效。这种高效不仅体现在 81.9 的总体任务评分,同时还体现在参数效率上。微软的新模型只有 1.1 亿的参数量,远比 BERT-Large 模型的 3.35 亿参数量少,和 BERT-Base 的参数量一样多。下图展示了 GLUE 基准排名前 5 的模型:

在「Microsoft D36***I & MSR AI」模型的描述页中,新模型采用的是一种多任务联合学习。因此所有任务都共享相同的结构,并通过多任务训练方法联合学习。此外,这 11 项任务可以分为 4 类,即句子对分类 MNLI、QQP、QNLI、STS-B、MRPC、RTE 和 SWAG;单句子分类任务 SST-2、CoLA;问答任务 SQuAD v1.1;单句子标注任务(命名实体识别)CoNLL-2003 NER。

其中在句子对分类任务中,有判断问答对是不是包含正确回答的 QNLI、判断两句话有多少相似性的 STS-B 等,它们都用于处理句子之间的关系。而单句子分类任务中有判断语句中情感趋向的 SST-2 和判断语法正确性的 CoLA 任务,它们都在处理句子内部的关系。

在 SQuAD v1.1 问答数据集中,模型将通过问题检索段落中正确回答的位置与长度。***在命名实体识别数据集 CoNLL 中,每一个时间步都会预测它的标注是什么,例如人物或地点等。

如下所示为微软新模型在不同任务中的得分:

目前微软新模型的性能还非常少,如果经过多任务预训练,它也能像 BERT 那样用于更广泛的 NLP 任务,那么这样的高效模型无疑会有很大的优势。

人工智能 机器学习 技术
上一篇:Facebook 发布无梯度优化开源工具 Nevergrad,可应用于各类机器学习问题 下一篇:万事达卡如何利用人工智能来阻止欺诈、减少错误拒付?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

吐血整理:机器学习的30个基本概念,都在这里了(手绘图解)

本文主要介绍机器学习基础知识,包括名词解释(约30个)、基础模型的算法原理及具体的建模过程。

梅子行 毛鑫宇 ·  1天前
IoT和AI如何让企业在疫情期间重启业务

疫情期间,我们该如何利用物联网和人工智能技术帮助企业重新开始营业,提供安全和相关的服务,同时也确保员工安全。

Dimitrios Spiliopoulos ·  1天前
您可以信赖的5个AI解决方案提供商

经过全面的研究和分析,我们选择了您可以信赖的五家人工智能解决方案提供商,以获取最可靠的AI服务。

闻数起舞 ·  1天前
知乎热议:未来3到5年内,哪个方向机器学习人才最稀缺?

未来3到5年内,哪个方向的机器学习人才最紧缺?今天我们就来梳理一下。全栈式工程师在初创公司受欢迎,领域专精的算法人才在大公司很吃香,应用型人才能够快速提升业务,而工程化是落地的重要一环。

佚名 ·  1天前
复工复产“新基建”提速 人工智能能做什么

疫情中,智能产品在用户群体中赢得了更多信任,人工智能给各行业的“赋能”作用开始显现,人工智能应用在提升国家治理能力方面的作用也越来越明显。

邱晨辉 ·  1天前
机器学习“七宗罪”:影响可信度的七个常见错误

机器学习是一个伟大的工具,它正在改变我们的世界。在许多优秀的应用中,机器学习(尤其是深度学习)比传统方法优越得多。从用于图像分类的Alex-Net到用于图像分割的U-Net,人们看到了计算机视觉和医学图像处理领域的巨大成功。

图灵联邦 ·  1天前
2020年商业中十大AI趋势 人工智能技术正以惊人的速度增长

人工智能是2010年代的技术,随着时间的流逝,越来越多的AI技术正在出现。人工智能是所有技术人员的新魅力-但即使在第二个十年,它也没有结束。毫无疑问,2019年是人工智能之年;然而,2020年已许诺了更多的AI奇迹。以下是2020年人工智能业务十大趋势。

AI国际站 ·  1天前
对象存储适合人工智能和机器学习的三个原因

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。

Gary Ogasawara ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载