AI 怎么知道人类对话在说什么?微软研究团队告诉你

作者: 肖漫 2019-10-23 19:30:23

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

近期,微软研究团队通过对上下文建模加以研究得出一种新的方法,这种方法能够让 AI 模型通过上下文的历史记录来改写对话中的最后话语,那么,这是一种怎样的研究方法呢?

KYLE WIGGERS 对此做了详细的介绍,雷锋网将其文章进行了不改变愿意的编译,具体如下。

在一份预先出版的论文中,微软研究团队详细地介绍了他们的工作——为开放领域的对话进行无监督的上下文重写。他们声称,在重写质量和多轮响应生成方面,他们的实验结果已经达到了最新基准。

正如研究人员所解释的那样,对话上下文提出了句子建模中所没有的挑战,比如主题转换、共同引用(像他、她、它、他们这种)、长期依赖。大多数系统解决这些问题的方法是在最后一段话中添加关键字,或者用 AI 模型学习数字表示,但这种方法往往会遇到障碍,比如无法选择正确的关键词、无法处理较长的上下文等。

这时候,就是微软研究团队的方法的用武之地了。它通过对语境信息的考量,重新制定了对话中的最后一句话;这么做是为了生成一个独立的话语,既不存在相互参照,也不依赖过去对话的其它话语。

雷锋网注:【 图片来源:Microsoft  所有者:Microsoft  】

举个例子,如果将“我讨厌喝咖啡。- - 为什么?它挺好喝的啊。”转化成“为什么会讨厌喝咖啡呢?它挺好喝的啊。”,这就借用了“它”和“为什么”。其中,“它”指代的是对话中提到的咖啡,“为什么”则是“为什么讨厌喝咖啡”的缩写形式。

对此,研究人员设计了一个机器学习系统——上下文重写网络(雷锋网按:context rewriting network, CRN),来实现端到端的流程自动化。这个系统是由一个序列到序列模型组成的,它能够将固定长度的话语映射到固定长度的重写句子上。并且,它还具有一个独立的注意力机制,这个机制能够通过最后话语中的不同单词来帮助它从上下文中复制单词。

那么,这个系统是如何被设计出来的呢?

首先,微软研究团队使用伪数据对模型进行了训练,这些伪数据是通过提取上下文的关键字,将这些关键字插入到原始对话中的最后话语中来生成的。然后,为了让最后的响应影响重写过程,他们利用了强化学习去推动系统朝着目标前进。

雷锋网注:【 图片来源:Microsoft  所有者:Microsoft  】

在一系列实验中,该团队评估了他们的方法在几种重写质量,多回合响应生成,多回合响应选择以及基于端到端检索的任务上的应用。他们注意到,由于他们的模型更倾向于从上下文中提取更多的单词,因此该模型在强化学习后偶尔会变得不稳定,不过,这也显著地提升了话语的多样性。

微软研究团队认为,他们的工作朝着更易解释和更易控制的上下文建模中迈进了一步。另外,该研究团队还表示,他们的模型可以从嘈杂的语境中提取出重要的关键词,然后将这些关键词插入到最后的话语中,使其不仅变得易于控制和解释,还有助于将信息直接传递到最后的话语中。

AI 数据 人工智能
上一篇:无人驾驶的规模化难题 下一篇:拥有7000多万店铺和10多亿件商品的微店如何打造AI系统?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

麻省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。

机器之心 ·  2021-02-21 15:47:47
规划智慧城市时,别忘了无障碍通行

要想成为一个智慧城市甚至一个智慧世界,虽然可能需要时间和有针对性的规划,但我们必须以人为本。

蒙光伟 ·  2021-02-21 10:26:41
2021关于人工智能的五大趋势

数字化变革,比过去10年更多,这主要是由于远程工作的规模,以及企业迅速部署了必要的技术,尤其是与网络安全相关的技术。那,2021关于人工智能的五大趋势会是如何的呢?

Lichu ·  2021-02-21 10:21:01
使数据中心更智能:人工智能如何发挥作用?

随着数据成为维持几乎所有业务运营以获取洞察力和业务成果的先决条件,数据中心正处于这种数字化转型的关键。

Cassie ·  2021-02-21 10:14:59
IBM拟出售Watson Health后,AI医疗还能不能碰

医疗服务仍然是一块商业上尚未被完全发掘的市场,看病难/看病贵、医疗资源紧缺、医疗资源不平均等痛点问题长期存在,对应的市场空间理应是巨大的。而Watson Health作为IBM曾寄予厚望的业务方向,为何要在此时萌生退意?它的故事给业界带来哪些启发?眼下的AI医疗市场,究竟是一副什么样的局面呢?

物联传媒 ·  2021-02-21 08:41:16
抛弃归一化,深度学习模型准确率却达到了前所未有的水平

我们知道,在传递给机器学习模型的数据中,我们需要对数据进行归一化(normalization)处理。

机器之心 ·  2021-02-20 21:09:12
华人博士生首次尝试用两个Transformer构建一个GAN

最近,CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明,transformer 有可能成为计算机视觉任务(如分类、检测和分割)的强大通用模型。

Yifan Jiang ·  2021-02-20 21:04:53
无监督训练用堆叠自编码器是否落伍?ML博士对比了8个自编码器

柏林工业大学深度学习方向博士生 Tilman Krokotsch 在多项任务中对比了 8 种自编码器的性能。

Tilman Krokotsch ·  2021-02-20 20:57:16
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载