AI 怎么知道人类对话在说什么?微软研究团队告诉你

作者: 肖漫 2019-10-23 19:30:23

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

近期,微软研究团队通过对上下文建模加以研究得出一种新的方法,这种方法能够让 AI 模型通过上下文的历史记录来改写对话中的最后话语,那么,这是一种怎样的研究方法呢?

KYLE WIGGERS 对此做了详细的介绍,雷锋网将其文章进行了不改变愿意的编译,具体如下。

在一份预先出版的论文中,微软研究团队详细地介绍了他们的工作——为开放领域的对话进行无监督的上下文重写。他们声称,在重写质量和多轮响应生成方面,他们的实验结果已经达到了最新基准。

正如研究人员所解释的那样,对话上下文提出了句子建模中所没有的挑战,比如主题转换、共同引用(像他、她、它、他们这种)、长期依赖。大多数系统解决这些问题的方法是在最后一段话中添加关键字,或者用 AI 模型学习数字表示,但这种方法往往会遇到障碍,比如无法选择正确的关键词、无法处理较长的上下文等。

这时候,就是微软研究团队的方法的用武之地了。它通过对语境信息的考量,重新制定了对话中的最后一句话;这么做是为了生成一个独立的话语,既不存在相互参照,也不依赖过去对话的其它话语。

雷锋网注:【 图片来源:Microsoft  所有者:Microsoft  】

举个例子,如果将“我讨厌喝咖啡。- - 为什么?它挺好喝的啊。”转化成“为什么会讨厌喝咖啡呢?它挺好喝的啊。”,这就借用了“它”和“为什么”。其中,“它”指代的是对话中提到的咖啡,“为什么”则是“为什么讨厌喝咖啡”的缩写形式。

对此,研究人员设计了一个机器学习系统——上下文重写网络(雷锋网按:context rewriting network, CRN),来实现端到端的流程自动化。这个系统是由一个序列到序列模型组成的,它能够将固定长度的话语映射到固定长度的重写句子上。并且,它还具有一个独立的注意力机制,这个机制能够通过最后话语中的不同单词来帮助它从上下文中复制单词。

那么,这个系统是如何被设计出来的呢?

首先,微软研究团队使用伪数据对模型进行了训练,这些伪数据是通过提取上下文的关键字,将这些关键字插入到原始对话中的最后话语中来生成的。然后,为了让最后的响应影响重写过程,他们利用了强化学习去推动系统朝着目标前进。

雷锋网注:【 图片来源:Microsoft  所有者:Microsoft  】

在一系列实验中,该团队评估了他们的方法在几种重写质量,多回合响应生成,多回合响应选择以及基于端到端检索的任务上的应用。他们注意到,由于他们的模型更倾向于从上下文中提取更多的单词,因此该模型在强化学习后偶尔会变得不稳定,不过,这也显著地提升了话语的多样性。

微软研究团队认为,他们的工作朝着更易解释和更易控制的上下文建模中迈进了一步。另外,该研究团队还表示,他们的模型可以从嘈杂的语境中提取出重要的关键词,然后将这些关键词插入到最后的话语中,使其不仅变得易于控制和解释,还有助于将信息直接传递到最后的话语中。

AI 数据 人工智能
上一篇:无人驾驶的规模化难题 下一篇:拥有7000多万店铺和10多亿件商品的微店如何打造AI系统?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI战“疫”,偶尔小尴尬背后,终极护城河现形

人类与新型冠状病毒的战“疫”仍然在进行中,在这期间,也催生出各类“人工智能+”应用,人工智能技术在此期间迎来大爆发。

张书乐 ·  1天前
DeepMind发布神经网络、强化学习库,网友:推动JAX发展

JAX由谷歌提出,是TensorFlow的简化库。结合了针对线性代数的编译器XLA,和自动区分本地 Python 和 Numpy 代码的库Autograd,在高性能的机器学习研究中使用。

十三 ·  1天前
谷歌透露:正在内部尝试用AI开发计算机芯片

据谷歌人工智能研究负责人Jeff Dean透露,谷歌正在尝试通过人工智能程序推进专用芯片的内部开发,以加速其软件。在旧金山举行的International Solid State Circuits Conference会上Dean表示:“我们内部正在将人工智能技术用于一系列芯片设计项目中。”

佚名 ·  1天前
人工智能带领人类从信息社会迈向智能社会

人工智能(AI)是指在机器上实现类似乃至超越人类的感知、认知、行为等智能的系统。与人类历史上其他技术革命相比,人工智能对人类社会发展的影响可能位居前列。

新华网客户端 ·  2天前
2020年的7个关键RPA趋势:从人工智能启用到更具战略性的扩展

机器人流程自动化(RPA)服务商Blue Prism公司EMEA地区首席技术官Peter Walker对使企业可以体验采用机器人流程自动化(RPA)优秀结果的2020年有望取得的重大发展进行了预测与分析。

Peter Walker ·  2天前
AI助各地返工:重庆语音机器人、北京无人配送、广州人脸识别测温

随着全国各地陆续开始返工浪潮,人工智能技术也有了特别的用武之地。

佚名 ·  2天前
谈谈网络应用的12个商业聊天机器人

为了推动企业的发展,你会利用AI(人工智能)、ML(机器学习)、NLP(自然语言处理)等一系机器人商业技术。

风车云马 ·  2天前
AI技术将如何推动制药行业发展? 精选

从目前来看,AI技术的应用范围已经非常广泛,各个行业可谓概莫能外——制药行业自然也在其中。这一切,将给制药这一历史悠久且至关重要的行业带来前所未有的变革。

佚名 ·  3天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载