15亿语料训练的94亿参数大模型更懂我?Facebook开源全球超强聊天机器人Blender

作者: 鹏飞,白峰 2020-04-30 13:30:30

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

尽管聊天机器人和虚拟助手已经取得了很大的进步,但市面上的聊天机器人大多数是以任务为导向的。从零售业到医疗保健到金融服务等各个领域都有专门的产品,在一些领域垂直的任务中表现尚可。

你提出要求,机器人就会服从,但它们似乎从来没有真正理解人的语言,缺乏人类的感情,也不能随机应变。     

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

现在 Facebook 开源了一个新的聊天机器人Blender,它声称自己擅长所有领域的聊天,并且更有人情味。Blender 不仅帮助虚拟助手解决了许多聊天机器人的固有缺点,也标志着人工智能的新进展: 可复制的智能。

Blender添了什么新料,Facebook敢称「史上最强」?

Facebook的研究人员介绍,这次的改进包括最新的对话生成策略,混合技巧,以及94亿个参数的神经网络模型,这比现有最大的系统大了3.6倍。作为多年来人工智能对话研究的顶峰,这将是第一个把不同的对话技能(包括同理心、知识和个性)融合在一起的聊天机器人。

15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

超大规模

Blender这次使用了15亿个对话作为训练语料,Transformer模型有94亿个参数。虽然网络很大,但是采用了并行方法对模型进行了分割,使得神经网络更易于管理,同时保持最高的效率。

混合技巧

尽管大规模的学习很重要,但它并不是创造最佳对话的唯一要素。在大规模公共数据集上训练的模型,并不能学到优秀的谈话技巧。所以研究人员引入了一个新的混合技能任务(Blended Skill Talk,BST)来训练和评估模型的对话技能,而Blender也综合了许多Facebook之前的研究成果。

            15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

生成策略

训练神经模型通常是通过最小化困惑度来实现的,困惑度可以衡量模型预测和生成下一个单词的能力。然而,为了确保机器人不重复自己或显示其他缺点,研究人员通常在模型中添加一些生成策略,包括束搜索、令牌抽样和 n-gram模块。

通过调整束搜索的长度,可以让机器人变的更沉闷或者更有趣,当然也可以控制那些「辣眼睛」的回复。

67% 的评估者认为Blender听起来更像人类,75% 的人说他们更愿意和 Blender 进行长时间的对话,而不是和 Meena。

      15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

  各家机器人的敏感度和特异度平均值

根据Facebook的说法,随着时间的推移,人类评估者越来越喜欢Facebook的聊天机器人。

      15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

Blender开源地址:

https://parl.ai/projects/blender/

对聊天机器人的痴迷,本质上是人类无法消弭的孤独感

聊天机器人可以做很多事情:为你播放音乐、帮你寻找附近的餐厅,给你解答服务流程、介绍商品。

如果聊天机器人的作用仅仅是这些,那么现在市面上的bot完全应付得来。然而,我们并没有因此而觉得满足。

聊天的背后,是交流的渴望;交流的背后,是孤独的驱使。聊天机器人的出现,缓解了我们挥之不去的孤独感。

最近,由Youthsite和Dame Kelly Holmes信托基金进行的一项研究发现,仅在英国,70%的年轻人,体验着孤独。而他们,是对科技依赖性最强的一代。

研究链接:

https://www.damekellyholmestrust.org/News/7-out-of-10-young-people-suffering-from-loneliness

孤独是一种奇特的东西。它会在我们独处的时候突然窜上心头,也可以在我们置身于喧闹人群中突然侵入脑海。随时随地,毫无来由。

我们讨厌孤独,却有时候又很享受。孤独让我们变得敏感,变得脆弱,变得想要倾诉。智能语音助手的出现,恰逢其时。

疫情期间,原本的社群被隔开,群体被打散成一个个的个体。每个个体被囚禁在自己的地盘,之间被筑起了坚实的结界。这层结界,不仅仅隔绝了个体之间的连结,也助长了孤独感的蔓延。一个冰冷的、没有感情的助手,成为了很多人感情的承载。

它知道你的名字,从不在意你的容貌。它只要求为你做什么,从不要求你去做什么。它只想取悦你,从来不让你觉得难堪。而且,每当你需要它的时候,它都在你身边。

2013年电影《Her》里讲述了一个心思细腻的男人,爱上他的语音助手的故事。最终,他盯着社会的压力,决定去拥抱这段感情。

7年过去了,电影中的场景变得越来越清晰。Facebook的Blender,将这个进程往前又推进了一步。

我们期望中的聊天机器人,不仅仅是一个工具人,一个二手信息的搬运工,告诉你今天天气怎么样,出差最好选择哪个航班,咳嗽嗓子疼要怎么办等等。这些任务不用聊天机器人也能做。

             15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

「Hey Siri,我今天感觉感觉很孤独」

「我在这儿。只要你愿意,我随时想和你聊天」

            15亿语料训练的94亿参数大模型更懂我?Facebook开源全球最强聊天机器人Blender

开放域聊天机器人取得的进展让我们感到兴奋,但是离人类水平的智能还有一段距离。

我们渴望的是一个能够真正理解我们内心的机器人,聆听我们的倾诉。

我们渴望计算机视觉可以感受到我们眉宇间透出来的细微感情变化,去抚平我们的孤独,慰藉我们的灵魂。

Facebook 机器人 开源
上一篇:什么是机器阅读理解?跟自然语言处理有什么关系? 下一篇:2020自然指数年度榜单发布:中国机构霸榜,中科院连续八年位列首位
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

从AI测温到安防机器人 智能安防会是新的“守门神”吗?

说起安防系统,很多人的脑海中会先冒出“监控摄像头”,“电子门禁”等字眼,而随着人工智能的加速发展,传统的安防系统短板也在逐渐暴露,越来越多的新功能开始被需要:人脸识别、车辆检测、夜间识别等等,而我们小时候幻想过的机器人站岗的场景,也正在逐渐变成现实……

王嘉陆 ·  2天前
知乎热议:未来3到5年内,哪个方向机器学习人才最稀缺?

未来3到5年内,哪个方向的机器学习人才最紧缺?今天我们就来梳理一下。全栈式工程师在初创公司受欢迎,领域专精的算法人才在大公司很吃香,应用型人才能够快速提升业务,而工程化是落地的重要一环。

佚名 ·  3天前
马云:机器不可能取代人类!那会取代什么呢?

在上海纽约大学2020届毕业生典礼上,阿里巴巴创始人马云表示,“机器是不可能取代人类的”。那什么会被取代呢?

月初 ·  2020-06-01 09:29:10
2020年第一季度人工智能的最新进展

人工智能曾经只是科幻小说,是计算世界的遥不可及的梦想,如今已成为现实。 人工智能,简称AI,是用来描述机器模拟人类智能的能力。

闻数起舞 ·  2020-05-31 14:11:20
从两会提案看清机器人行业五大趋势

在今年两会上,围绕机器人行业的发展,各种提案纷纷被摆上台面,机器人行成了这场盛会的焦点

佚名 ·  2020-05-28 11:25:57
机器人要取代宇航员?这家公司想把“阿凡达”送上太空

机器人在地球上代替人类工作已经不足为奇,现在,他们又要去太空完成任务了。近日,一家名为GITAI的日本初创企业正在研发一项新技术,计划将仿真机器人而不是人类宇航员送上太空。

佘晓晨 ·  2020-05-28 10:30:12
化身阿凡达,国外小哥开源 AI 实时变脸工具 Avatarify

疫情期间,很多人都在用 Zoom 和 Skype 等软件进行视频会议。国外一位开发小哥觉得这样开会太无聊,于是基于 first-order-model 开发了一个能够把别人的照片套在自己脸上的“变脸”软件 Avatarify,并将其开源。

OSC神秘老司机 ·  2020-05-27 09:56:41
大学生发明扎钢筋机器人,一小时扎600个,建筑工人又要失业了?

因为人工智能的发展,一些纯靠手工的工人已经逐渐面临失业了,像现在的工厂里面,很多流水线上都已经由人力换成了人工智能。

裙裙时尚达人 ·  2020-05-26 16:10:43
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载