26亿参数,智源、清华开源中文大规模预训练模型

作者: 佚名 2020-11-18 10:29:07

 近日,北京智源人工智能研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型 CPM-LM,参数规模达 26 亿,预训练中文数据规模 100 GB。

自 2018 年谷歌发布 BERT 以来,预训练模型在自然语言处理(NLP)领域逐渐成为主流。今年 5 月份,OpenAI 推出的史上最大 AI 模型 GPT-3更是引起了大量讨论。但是,目前 NLP 领域的预训练模型多针对英语语言,以英语语言数据为训练数据,例如 GPT-3:

26亿参数,智源、清华开源中文大规模预训练模型

用于训练 GPT-3 的数据集。

近日,北京智源人工智能研究院和清华大学研究团队合作开展了一项名为「清源 CPM (Chinese Pretrained Models)」的大规模预训练模型开源计划,旨在构建以中文为核心的大规模预训练模型。首期开源内容包括预训练中文语言模型和预训练知识表示模型,可广泛应用于中文自然语言理解、生成任务以及知识计算应用,所有模型免费向学术界和产业界开放下载,供研究使用。

清源 CPM 主页:https://cpm.baai.ac.cn/

清源 CPM Github 托管代码主页:https://github.com/TsinghuaAI/

模型特点

根据清源 CPM 主页介绍,该计划发布的预训练模型具备以下特点:

模型规模大:本次发布的CPM-LM 参数规模达 26 亿,预训练中文数据规模 100 GB,使用了 64 块 V100 GPU,训练时间约为 3 周;CPM-KG 的参数规模为 217 亿,预训练结构化知识图谱为 WikiData 全量数据,包含近 1300 个关系、8500 万实体、4.8 亿个事实三元组,使用了 8 块 V100 GPU 训练时间约为 2 周。

语料丰富多样:收集大量丰富多样的中文语料,包括百科、小说、对话、问答、新闻等类型。

学习能力强:能够在多种自然语言处理任务上进行零次学习或少次学习,并达到较好的效果。

行文自然流畅:基于给定上文,模型可以续写出一致性高、可读性强的文本,达到现有中文生成模型的领先效果。

在模型训练方面,CPM 模型预训练过程分布在多块 GPU 上,采用层内并行的方法进行训练,并基于当前已有的成熟技术,减少同步提高通讯速率。

在硬件设施方面,为训练该 CPM 模型,共有 64 块 V100 显卡投入使用。经过预训练的 CPM 模型可以用来促进诸多下游中文任务,如对话、论文生成、完形填空和语言理解等。

为了促进中文自然语言处理研究的发展,该项目还提供了 CPM-LM (2.6B) 模型的文本生成代码,可用于文本生成的本地测试,并以此为基础进一步研究零次学习 / 少次学习等场景,详情参见项目 GitHub 主页。

模型性能

清源 CPM 使用新闻、百科、对话、网页、故事等不同类型的中文语料数据进行预训练。在多个公开的中文数据集上的实验表明,清源 CPM 在少样本或无样本的情况下均能够实现较好的效果。

中文成语填空 ChID

ChID 是 2019 年清华大学对话交互式人工智能实验室(CoAI)收集的中文成语填空数据集,其目标是对于给定的段落,在 10 个候选项中选择最符合段意的成语进行填空。

26亿参数,智源、清华开源中文大规模预训练模型

其中有监督设定是指在 ChID 的训练集上进行训练,随后在测试集上测试;无监督设定是指不经过任何额外训练,直接使用预训练模型进行测试。具体做法是,将候选项依次填入段落中,计算填充后段落的困惑度 (Perplexity),选择困惑度最小的候选项作为预测结果。表中汇报了预测的准确率,可以看到,CPM (大) 在无监督设定下甚至达到了比有监督 CPM (小) 更好的结果,反映出清源 CPM 强大的中文语言建模能力。

对话生成 STC

STC 是 2015 年华为诺亚方舟实验室提出的短文本对话数据集,要求在给定上文多轮对话的条件下预测接下来的回复。

26亿参数,智源、清华开源中文大规模预训练模型

其中 CDial-GPT 是清华大学对话交互式人工智能(CoAI)实验室 2020 年提出的中文对话预训练模型。用于衡量多样性的 Dist-n 指标的两个数字分别是所有不重复的 N-Gram 的数量及占所有 N-Gram 的比例。可以看到,在无监督的设定下,清源 CPM 具有更好的泛化性,在有监督设定下,清源 CPM 能达到比 CDial-GPT 更优的效果,尤其在多样性指标上表现更佳。

文本分类

清源 CPM 使用头条新闻标题分类(TNEWS,采样为 4 分类)、IFLYTEK 应用介绍分类(IFLYTEK,采样为 4 分类)、中文自然语言推断(OCNLI,3 分类)任务作为文本分类任务的基准。具体做法是,先输入分类样本,再输入「该文章的类别为 / 该介绍的类别为 / 两句话的关系为」,要求模型直接生成标签,四个标签中概率最高的标签作为预测结果。在无监督设定下,不同规模的清源 CPM 在文本分类任务上的精确度如下表所示:

26亿参数,智源、清华开源中文大规模预训练模型

清源 CPM 能够在无监督的设定下达到比随机预测好得多的精确度(TNEWS/IFLYTEK/OCNLI 随机预测精确度分别为 0.25/0.25/0.33)。

自动问答

CPM 使用 DuReader 和 CMRC2018 作为自动问答任务的基准,要求模型从给定段落中抽取一个片段作为对题目问题的答案,其中 DuReader 由百度搜索和百度知道两部分数据组成。在无监督的设定下,不同规模的 CPM 模型的表现如下表所示:

26亿参数,智源、清华开源中文大规模预训练模型

其中单样本是指在测试时,从数据集中随机抽取一个正确的「(段落,问题,答案)」三元组,插入到用于评价的样例前,作为 CPM 模型生成答案的提示;零样本是指直接使用 CPM 模型预测给定段落和问题的答案。在单样本设定下,CPM 能从给定的样本中学习到生成答案的模式,因此效果总是比零样本设定更好。由于模型的输入长度有限,多样本输入的场景将在未来进行探索。

模型效果展示

我们可以从以下示例中,观察 CPM 预训练中文语言模型的效果。比如基于对单个常识性问题的学习,依照规律进行提问和正确回答:

26亿参数,智源、清华开源中文大规模预训练模型

根据前文真实的天气预报,继续报道天气预报(不保证正确性):

26亿参数,智源、清华开源中文大规模预训练模型

执行数理推理:

26亿参数,智源、清华开源中文大规模预训练模型

甚至续写《红楼梦》片段:

26亿参数,智源、清华开源中文大规模预训练模型

据了解,清源 CPM 未来计划开源发布更大规模的预训练中文语言模型、以中文为核心的多语言预训练模型、融合大规模知识的预训练语言模型等。

模型 人工智能 开源
上一篇:人脸识别技术发展现状及未来发展趋势 下一篇:沈向洋博士:三十年科研路,我踩过的那些坑
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能时代,你靠什么生存呢?

以前我们说,诸葛亮未出茅庐,已知三分天下。用来强调诸葛亮,有多么厉害!但是,现在好像人人都可以做到未出茅庐,已知三分天下。你只需要拿一个手机在手上,你就可以看遍全世界,你就可以把全世界所有国家的人拍的视频、照片,看了个遍。

海哥哥B ·  1天前
美国开发全新开源AI算法:马赛克美女自动还原

看到模糊的照片,是不是有还原真实面目的冲动?以前的技术做不到,在AI时代一切皆有可能。美国杜克大学开发的AI算法就可以做到马赛克图片变高清。

宪瑞 ·  1天前
用Recast.AI 创建一个聊天机器人

据 Gartner 2018 年 2 月的报告,“到 2020 年,25% 的客户服务和支持业务将在参与渠道中整合虚拟客户助理(VCA)或聊天机器人技术,而 2017 年只有不到 2%。”鉴于此,读者会发现本教程对理解开源的 Recast.AI 机器人创建平台的工作原理很有帮助。

Athira Lekshmi C.v ·  1天前
未来一年商业智能的发展前景如何?

随着智能技术的使用日新月异,人们需要了解商业智能的最新发展趋势。以下是有关商业智能未来发展的概述,其中包括主要趋势、主要挑战、以及具有广阔发展前景的商业智能即服务。

Matt James ·  1天前
如何减少建筑工地的伤亡事故?这 10 大AI手段来了

开头就先给出本文的结论吧——通过实时分析 7x24小时的视频信号,AI 和机器学习正在减少建筑工地的事故、盗窃与破坏行为和危险的操作环境。同时,还能获得对于威胁的预测性见解和信息。

京东数科 ·  1天前
美国专利商标局(USPTO)报告:再不使用人工智能,你就落伍啦!

美国专利商标局(USPTO)于10月27日发布的一份新报告显示,在2018年所有新的技术发明中,有42%的发明涉及到了人工智能。

佚名 ·  1天前
家里没有王位继承?没关系,有人用AI打造了一个童话魔法世界

「童话魔法」是一项基于生成式算法的视频特效技术,可以让用户在手机端实时预览自己变身公主、王子的神奇效果。生成的图像不仅有着浓浓的童话风格,而且还保留了用户自身的容貌特点,带给用户新奇的拍摄体验。

机器之心 ·  1天前
模型听人讲几句就能学得更好?斯坦福提出用语言解释辅助学习

语言是人与人之间最自然的沟通方式,能帮助我们传递很多重要的信息。斯坦福大学人工智能实验室(SAIL)近日发表博客,介绍了其两篇 ACL 2020 论文。

Jesse Mu、Shikhar Murty ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载