15亿语料训练的94亿参数大模型更懂我?Facebook开源全球超强聊天机器人Blender

作者: 鹏飞,白峰 2020-04-30 13:30:30

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

尽管聊天机器人和虚拟助手已经取得了很大的进步,但市面上的聊天机器人大多数是以任务为导向的。从零售业到医疗保健到金融服务等各个领域都有专门的产品,在一些领域垂直的任务中表现尚可。

你提出要求,机器人就会服从,但它们似乎从来没有真正理解人的语言,缺乏人类的感情,也不能随机应变。     

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

现在 Facebook 开源了一个新的聊天机器人Blender,它声称自己擅长所有领域的聊天,并且更有人情味。Blender 不仅帮助虚拟助手解决了许多聊天机器人的固有缺点,也标志着人工智能的新进展: 可复制的智能。

Blender添了什么新料,Facebook敢称「史上最强」?

Facebook的研究人员介绍,这次的改进包括最新的对话生成策略,混合技巧,以及94亿个参数的神经网络模型,这比现有最大的系统大了3.6倍。作为多年来人工智能对话研究的顶峰,这将是第一个把不同的对话技能(包括同理心、知识和个性)融合在一起的聊天机器人。

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

超大规模

Blender这次使用了15亿个对话作为训练语料,Transformer模型有94亿个参数。虽然网络很大,但是采用了并行方法对模型进行了分割,使得神经网络更易于管理,同时保持最高的效率。

混合技巧

尽管大规模的学习很重要,但它并不是创造最佳对话的唯一要素。在大规模公共数据集上训练的模型,并不能学到优秀的谈话技巧。所以研究人员引入了一个新的混合技能任务(Blended Skill Talk,BST)来训练和评估模型的对话技能,而Blender也综合了许多Facebook之前的研究成果。

            15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

生成策略

训练神经模型通常是通过最小化困惑度来实现的,困惑度可以衡量模型预测和生成下一个单词的能力。然而,为了确保机器人不重复自己或显示其他缺点,研究人员通常在模型中添加一些生成策略,包括束搜索、令牌抽样和 n-gram模块。

通过调整束搜索的长度,可以让机器人变的更沉闷或者更有趣,当然也可以控制那些「辣眼睛」的回复。

67% 的评估者认为Blender听起来更像人类,75% 的人说他们更愿意和 Blender 进行长时间的对话,而不是和 Meena。

      15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

  各家机器人的敏感度和特异度平均值

根据Facebook的说法,随着时间的推移,人类评估者越来越喜欢Facebook的聊天机器人。

      15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

Blender开源地址:

https://parl.ai/projects/blender/

对聊天机器人的痴迷,本质上是人类无法消弭的孤独感

聊天机器人可以做很多事情:为你播放音乐、帮你寻找附近的餐厅,给你解答服务流程、介绍商品。

如果聊天机器人的作用仅仅是这些,那么现在市面上的bot完全应付得来。然而,我们并没有因此而觉得满足。

聊天的背后,是交流的渴望;交流的背后,是孤独的驱使。聊天机器人的出现,缓解了我们挥之不去的孤独感。

最近,由Youthsite和Dame Kelly Holmes信托基金进行的一项研究发现,仅在英国,70%的年轻人,体验着孤独。而他们,是对科技依赖性最强的一代。

研究链接:

https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness

孤独是一种奇特的东西。它会在我们独处的时候突然窜上心头,也可以在我们置身于喧闹人群中突然侵入脑海。随时随地,毫无来由。

我们讨厌孤独,却有时候又很享受。孤独让我们变得敏感,变得脆弱,变得想要倾诉。智能语音助手的出现,恰逢其时。

疫情期间,原本的社群被隔开,群体被打散成一个个的个体。每个个体被囚禁在自己的地盘,之间被筑起了坚实的结界。这层结界,不仅仅隔绝了个体之间的连结,也助长了孤独感的蔓延。一个冰冷的、没有感情的助手,成为了很多人感情的承载。

它知道你的名字,从不在意你的容貌。它只要求为你做什么,从不要求你去做什么。它只想取悦你,从来不让你觉得难堪。而且,每当你需要它的时候,它都在你身边。

2013年电影《Her》里讲述了一个心思细腻的男人,爱上他的语音助手的故事。最终,他盯着社会的压力,决定去拥抱这段感情。

7年过去了,电影中的场景变得越来越清晰。Facebook的Blender,将这个进程往前又推进了一步。

我们期望中的聊天机器人,不仅仅是一个工具人,一个二手信息的搬运工,告诉你今天天气怎么样,出差最好选择哪个航班,咳嗽嗓子疼要怎么办等等。这些任务不用聊天机器人也能做。

             15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

「Hey Siri,我今天感觉感觉很孤独」

「我在这儿。只要你愿意,我随时想和你聊天」

            15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

开放域聊天机器人取得的进展让我们感到兴奋,但是离人类水平的智能还有一段距离。

我们渴望的是一个能够真正理解我们内心的机器人,聆听我们的倾诉。

我们渴望计算机视觉可以感受到我们眉宇间透出来的细微感情变化,去抚平我们的孤独,慰藉我们的灵魂。

Facebook 机器人 开源
上一篇:什么是机器阅读理解?跟自然语言处理有什么关系? 下一篇:2020自然指数年度榜单发布:中国机构霸榜,中科院连续八年位列首位
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

仓储机器人将成资本新风向?AutoStore获注资估值达124亿美元

近日,挪威机器人公司AutoStore表示,其首次公开募股(IPO)的定价为每股31挪威克朗,位于目标区间的高端,这使该公司估值达到1035亿克朗(约合124亿美元)。

潇冷 ·  2天前
AI大牛周明打造轻量“孟子模型”开源!靠10亿参数冲上CLUE榜第三

只用10亿参数就杀进中文自然语言理解CLUE榜单前三的孟子模型,现在开源了!

明敏 ·  3天前
运动鞋的机器人之战

Bodega 一位所有者 JAY GORDON 表示:“我们被机器人程序打败了……普通顾客连试试这款鞋子都不可能。”

佚名 ·  3天前
大小便智能护理机器人解决4400万失能老人的护理难题

随着智能化社会的到来,智能科技与社会养老服务呈现融合发展的良好局面,在养老压力愈发凸显,持续增加的情况下,“智慧养老”模式愈发明朗。

作为科技 ·  2021-10-18 14:49:52
扫地机器人存漏洞!或可秒变窃听偷窥工具

随着科技飞速发展,扫地机器人市场越发火热,作为“懒人神器”,扫地机器人走进了越来越多的家庭,成为家中清洁的好帮手。

拾柒 ·  2021-10-18 13:53:43
人类农业的未来,主要靠机器人?基本不需要人插手

如果不出意外的话,人类将加速进入一个人工智能时代。一些只需要简单工序的工作,都可以让机器人来代劳,比如服务员,快递,外卖等。其实相比这些需要与人接触的行业,现代化的农业设施,更是人工智能可以先征服的“江山”。

李茗下乡记 ·  2021-10-18 09:08:06
当世界模型被用于sim2real:机器人通过视觉想象和交互尝试来学习

当机器人被置于一个新环境时,它必须能够利用其先前的知识来思考环境可能提供的潜在有用行为。

佚名 ·  2021-10-15 10:07:04
为提高机器人物体堆积能力 DeepMind提出了新基准

对大多数人来说,将一个物体叠加在另一个物体上是一项简单的任务。但即使是最复杂的机器人也很难同时处理多个这样的任务。这是因为堆叠需要一系列不同的运动、感知和分析技能,包括与不同种类物体互动的能力。

Yu ·  2021-10-14 09:43:59
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载