一文看尽2019年NLP前沿突破

作者: 十三 2020-01-07 14:24:18

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

2019年,自然语言处理(NLP)都取得了哪些突破?

提到NLP,BERT可以说是家喻户晓。

在情感分析、问答、句子相似度等多个 NLP 任务上都取得了优异的成绩。

而且,无论是在类似于Kaggle这样的竞赛,或者媒体报道中,也总能看到它的身影。

它发表于2018年末,自那之后的一年,NLP和NLU(自然语言理解)领域有了较大的发展。

那么,以BERT的发布作为时间节点,本文便梳理了一下在此之前和之后,NLP领域的重要项目和模型。

BERT之前的一些主要 NLP 项目时间表

在提出BERT模型之前,NLP领域中的主要项目按时间排序,如下图所示:

一文看尽2019年NLP前沿突破

Word2Vec模型发布于2013年1月,至今也是非常流行。

在任何NLP任务中,研究人员可能尝试的第一个模型就是它。

https://arxiv.org/abs/1301.3781

FastTextGloVe分别于2016年7月和2014年1月提出。

FastText是一个开源的、免费的、轻量级的库,它允许用户学习文本表示和文本分类器。

https://fasttext.cc/

GloVe是一种无监督的学习算法,用于获取单词的向量表示。

https://nlp.stanford.edu/projects/glove/

Transformer于2017年6月提出,是一种基于 encoder-decoder 结构的模型。

在机器翻译任务上的表现超过了 RNN,CNN,只用 encoder-decoder 和 attention 机制就能达到很好的效果,最大的优点是可以高效地并行化。

https://ai.googleblog.com/2017/08/transformer-novel-neural-network.html

ELMo于2018年2月提出,利用预训练好的双向语言模型,然后根据具体输入从该语言模型中可以得到上下文依赖的当前词表示,再当成特征加入到具体的NLP有监督模型里。

https://allennlp.org/elmo

还有一个叫Ulmfit,是面向NLP任务的迁移学习模型,只需使用极少量的标记数据,文本分类精度就能和数千倍的标记数据训练量达到同等水平。

https://arxiv.org/abs/1801.06146

值得注意的是,ELMo和Ulmfit出现在BERT之前,没有采用基于Transformer的结构。

BERT

BERT模型于2018年10月提出。

全称是Bidirectional Encoder Representation from Transformers,即双向Transformer的Encoder(因为decoder不能获取要预测的信息)。

一文看尽2019年NLP前沿突破
△论文地址:https://arxiv.org/abs/1810.04805

模型的主要创新点都在pre-train方法上,即用了Masked LM和Next Sentence Prediction两种方法分别捕捉词语和句子级别的表示。

谷歌甚至开始使用BERT来改善搜索结果。

一文看尽2019年NLP前沿突破

奉上一份较为详细的BERT模型教程:
https://jalammar.github.io/illustrated-bert/

预训练权重相关内容可以从官方 Github repo 下载:
https://github.com/google-research/bert

Bert 也可以作为 Tensorflow hub 模块:
https://tfhub.dev/google/collections/bert/1

文末还会奉上各种非常实用的库。

BERT之后的一些主要 NLP 项目时间表

在谷歌提出BERT之后,NLP领域也相继出了其他较为突出的工作项目。

一文看尽2019年NLP前沿突破

Transformer-XL

Transormer-XL是Transformer的升级版,在速度方面比Transformer快1800多倍。

这里的XL,指的是extra long,意思是超长,表示Transformer-XL在语言建模中长距离依赖问题上有非常好的表现。同时,也暗示着它就是为长距离依赖问题而生。

长距离依赖问题,是当前文本处理模型面临的难题,也是RNN失败的地方。

相比之下,Transformer-XL学习的依赖要比RNN长80%。比Vanilla Transformers快450%。

在短序列和长序列上,都有很好的性能表现。

https://arxiv.org/abs/1901.02860

GPT-2

GPT-2可以说是在BERT之后,媒体报道最为关注的一个NLP模型。

这是OpenAI发布的一个“逆天”的语言AI,整个模型包含15亿个参数。

无需针对性训练就能横扫各种特定领域的语言建模任务,还具备阅读理解、问答、生成文章摘要、翻译等等能力。

而且,OpenAI最初还担心项目过于强大,而选择没有开源。但在10个月之后,还是决定将其公布。

https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf

ERNIE

ERNIE是基于百度自己的深度学习框架飞桨(PaddlePaddle)搭建的,可以同时利用词汇、句法和知识信息。

实验结果显示,在不同的知识驱动任务取得了显著的改进,同时在其它常见任务上与现有的BERT模型具有可比性。

当前,ERNIE 2.0版本在GLUE排行榜上排名第一。
https://github.com/PaddlePaddle/ERNIE

XLNET

XLNet 是一个类似BERT的模型,是一种通用的自回归预训练方法。

它不使用传统 AR 模型中固定的前向或后向因式分解顺序,而是最大化所有可能因式分解顺序的期望对数似然。

其次,作为一个泛化 AR 语言模型,XLNet不依赖残缺数据。

此外,XLNet还改进了预训练的架构设计。

https://arxiv.org/abs/1906.08237

RoBERTa

RoBERTa由Facebook提出。

它在模型层面没有改变谷歌的BERT,改变的只是预训练的方法。

在模型规模、算力和数据上,与BERT相比主要有以下几点改进:

更大的模型参数量:模型使用 1024 块 V100 GPU 训练了 1 天的时间。

更大bacth size:RoBERTa在训练过程中使用了更大的bacth size,尝试过从 256 到 8000 不等的bacth size。

更多的训练数据:包括CC-NEWS 等在内的160GB纯文本。

https://arxiv.org/abs/1907.11692

Salesforce CTRL

CTRL全名是Conditional Transformer Language,包含16亿个参数。

它具有强大且可控的人工文本生成功能,可以预测哪个训练数据子集对生成的文本序列影响最大。

通过识别模型中最有影响力的训练数据来源,为分析大量生成的文本提供了一种潜在的方法。

CTRL还可以通过微调特定任务或转移模型已学习的表示形式来改进其他NLP应用程序。

https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/

ALBERT

ALBERT是谷歌发布的轻量级BERT模型。

比BERT模型参数小18倍,性能还超越了它,在SQuAD和RACE测试上创造了新的SOTA。

前不久,谷歌还对此进行了升级,发布了ALBERT 2和中文版本。

在这个版本中,“no dropout”、“additional training data”、“long training time”策略将应用到所有的模型。

从性能的比较来说,对于ALBERT-base、ALBERT-large和ALBERT-xlarge,v2版要比v1版好得多。

说明采用上述三个策略的重要性。

https://arxiv.org/abs/1909.11942

性能评测基准

评估这些语言模型的方法之一是Glue Benchmark

它包括评估模型的各种NLP任务,如分类、问答等。

在Glue Benchmark刚刚发布的时候,BERT模型的性能位居榜首。

但截至2020年1月2日,在仅仅1年时间内,BERT已经排名到了19位。

一文看尽2019年NLP前沿突破

现在还有一个 SuperGlue 基准测试,它包含了更难理解的语言任务。

一文看尽2019年NLP前沿突破

对于评估问题回答系统,SQuAD是较为常用的。

BERT和基于transformer模型在此处的性能是较好的。

一文看尽2019年NLP前沿突破

其它与BERT相关项目

DistilBERT

DistilBERT是HuggingFace发布的小型NLP transformer模型,与BERT的架构类似,不过它仅使用了 6600 万参数,但在 GLUE 基准上实现了BERT 95% 的性能。

https://arxiv.org/abs/1910.01108

Megatron-LM

Megatron-LM是英伟达发布的NLP模型。

英伟达用自己的硬件与并行计算软件相结合,当时创下了三项纪录:

训练速度只需53分钟;
推理速度只需2.2ms;
包含83亿参数。

https://github.com/NVIDIA/Megatron-LM

BioBERT

BioBERT是用于生物医学文本挖掘的预训练生物医学语言表示模型。

在生物医学语料库上进行预培训时,它在各种生物医学文本挖掘任务上的表现,在很大程度上超过了BERT和之前的先进模型。

https://github.com/dmis-lab/biobert

CamemBERT

CamemBERT是一种基于RoBERTa 结构的法语语言模型。

https://camembert-model.fr/

NLP库

下面是作者认为需要了解的一些NLP库。

Spacy

Spacy 是一个流行的、快速的NLP程序库,可以处理各种自然语言处理任务,如标记、词性等。它还提供了预先训练的NER等模型。

https://spacy.io/

HuggingFace Transformers

它是首批提供 BERT Pytorch实现的库之一,最初被称为“ Pytorch-pretrained-BERT”。

后来,他们增加了更多的模型,如GPT-2,XLNET等。

在不到一年的时间里,它已经成为最流行的 NLP 库之一,并且使得BERT和其他模型的使用变得更加容易。

https://github.com/huggingface/transformers

AllenNLP

AllenNLP是来自艾伦人工智能研究所(Allen Institute of AI)的NLP库,基于PyTorch。

https://allennlp.org/

Flair

Flair也是一个带有 NER、 POS 等模型的 NLP 库,还支持 BERT、 ELMO、 XLNET 等嵌入。

https://github.com/flairNLP/flair

GluonNLP

GluonNLP是Apache MXNet 上的NLP工具包,是最早包含预先训练的BERT嵌入式的库之一。

https://gluon-nlp.mxnet.io/

那么,在2020年,NLP又会怎样的突破呢?

传送门

https://towardsdatascience.com/2019-year-of-bert-and-transformer-f200b53d05b9

人工智能 机器学习 技术
上一篇:秒杀Deepfake!微软北大提出AI换脸工具和假脸检测工具 下一篇:Facebook开源算法代码库PySlowFast,轻松复现前沿视频理解模型
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

四种使用物联网和人工智能加速获取价值的有效方法

最近,话题转向企业如何才能更快,更有效地获取和利用物联网计划的见解。物联网和人工智能的结合为企业实现这一预期成果提供了途径。实际上,这两种技术是相辅相成的,应该紧密相连。

佚名 ·  1天前
堪比《黑镜》——AI技术帮助母亲见到已逝的女儿

现在,国外的科技术团队使用AI技术,满足了一位失独母亲的夙愿——他们用摄影测量、虚拟现实和动作捕捉模拟产生了她那2016年去世的女儿。

超级盾 ·  1天前
AIoT:漫谈

什么是AIoT,它能做什么?这些就是我们今天这篇文章要解决的问题。

iothome ·  1天前
干货!从0到1教你打造一个令人上瘾的聊天机器人?

几千年来,我们一直都是直接通过对话来解决问题的。聊天机器人(Chatbots)的出现实际上是回归到了最简单的岁月。

火火酱 ·  1天前
治愈大脑,人机共生,马斯克为“脑机接口”辩护

随着今年年初特斯拉中国工厂正式开始交付特斯拉 model3 型号电动汽车,特斯拉的股值不断飙升,与此同时特斯拉和马斯克也在新闻媒体上赚足了眼球。

学术君 ·  1天前
抗疫新技术!3D打印/复印防护面罩在京研制成功

针对疫情特殊状况,基于前期研究试验,具有微纳滤膜清新空气微正压输入与呼出气体在线消毒排放功能的“新风正气”新冠病毒防护面罩研制已经取得初步成功,并有望批量化生产。

佚名 ·  1天前
英伟达将展示6款机器人:真人大小,力举千斤……

除了显卡之外,老黄近几年也越来越关注AI与机器人,在下月举行的GTC 2020上,英伟达宣布将至少展示6款机器人,它们高矮胖瘦各不同,具备不同的功能。

佚名 ·  1天前
戴口罩难以刷脸支付 刷手行不行?

人工智能技术日益深入生活的同时,公众的隐私担忧也越来越甚。人脸作为生物识别特征数据的一种,与其他识别方式相比具有更容易暴露、难以更改的特性,公众对相关的收集使用活动就更为敏感。那么,有没有其他支付方式?

佚名 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载