句法敏感的实体表示用于神经网络关系抽取

作者: 阿里巴巴授权发布 2018-02-25 11:31:06

句法敏感的实体表示用于神经网络关系抽取。关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。近年来基于神经网络的关系抽取模型把句子表示到一个低维空间。这篇论文的创新在于把句法信息加入到实体的表示模型里。

首先,基于Tree-GRU,把实体上下文的依存树放入句子级别的表示。其次,利用句子间和句子内部的注意力,来获得含有目标实体的句子集合的表示。

研究背景和动机

关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。远程监督模型通过将知识库应用于非结构化文本对齐来自动构建大规模训练数据,从而减轻对人工构建数据的依赖程度,并使得模型跨领域适应能力得到增强。然而,在利用远程监督构建语料的过程中,仅仅利用实体名称进行对齐,而不同实体在不同关系下应该具有更加丰富的多样的语义表示,从而导致错误标注等问题。因此,一套更加丰富的实体表示显得尤为重要。

另一方,基于语法信息的方法通常作用于两个实体之间的关系上,而语法信息是可以更加丰富实体的表示的。因此,本文基于句法上下文的实体表示来丰富实体在不同关系模式下的语义,并结合神经网络模型处理关系抽取任务。

相关工作介绍

我们把相关的工作大致分成早期基于远程监督的方法和近年来基于神经网络模型两类。

为了解决关系抽取任务严重依赖于标注语料的问题,Mintz et al.(2009)率先提出了基于远程监督的方法构建标注语料。然而,这样构建的自动标注语料含有大量的噪声。为了缓解语料中噪声带来的影响,Riedel et al.(2010)将关系抽取看成是一个多实例单类别的问题。进一步的,Hoffmann et al.(2011)和Surdeanu et al.(2012)采取了多实例多类别的策略。同时,采用最短依存路径作为关系的一个语法特征。上述方法典型的缺陷在于模型的性能依赖于特征模板的设计。

近年来,神经网络被广泛的应用于自然语言处理任务上。在关系抽取领域,Socher et al.(2012)采用循环神经网络来处理关系抽取。Zeng et al.(2014)则构建了端到端的卷积神经网络,进一步的,Zeng et al.(2015)假设多实例中至少有一个实例正确地表示了相应的关系。相比于假设有一个实例表示一对实体的关系,Lin et al.(2016)通过注意力机制挑选正面的实例更充分的使用了标注语料含有的信息。

以上这些基于神经网络的方法大多数都使用词层次的表示来生成句子的向量表示。另一方面,基于语法信息的表示也受到了众多研究者的青睐,其中最主要的即最短依存路径(Miwa and Bansal(2016)和Cai et al.(2016))。

主要方法

首先,基于依存句法树,利用基于树结构的循环神经网络(Tree-GRU)模型生成实体在句子级别的表示。如上图所示,有别于仅仅使用实体本身,我们能够更好地表达出长距离的信息。具体的实体语义表示如下图所示。我们使用Tree-GRU来获得实体的语义表示。

其次,利用基于子节点的注意力机制(ATTCE,上图)和基于句子级别的实体表示注意力机制(ATTEE,下图)来减轻句法错误和错误标注的负面影响。

实验结果

本文在NYT语料上进行了实验。最终结果如上图所示。其中,SEE-CAT和SEE-TRAINS分别是本文使用的两种结合三种向量表示(句子的向量表示,两个实体的向量表示)的策略。从图中可以看出,本文提出的模型在相同数据集上取得了比现有远程监督关系抽取模型更好的性能。

总结

本文的实验结果表明,更丰富的命名实体语义表示能够有效地帮助到最终的关系抽取任务。

团队名称:业务平台事业部

作者:何正球,陈文亮,张梅山,李正华,张伟,张民

句法敏感 神经网络关系 抽取
上一篇:比尔·盖茨:我不认为中国AI能弯道超车 下一篇:MIT用新AI技术让视频不再卡顿
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

阿里语音机器人现身李佳琦直播间,反应速度是Siri的20倍

10月30日消息,刚刚结束的李佳琦直播间里,剁手党通过阿里语音机器人首次实现与主播的实时互动。直播过程中,数十万用户同时用语音回答李佳琦的提问,最终机器人在50毫秒内就完成了语音识别和语音反馈全过程,反应速度是传统语音的20倍。

佚名 ·  1天前
小蛮驴上岗了!阿里物流机器人将承包浙大菜鸟驿站双11包裹配送

10月30日,由小蛮驴领衔的22个物流机器人进入浙江大学紫金港校区,整装备战双11。今年天猫双11,阿里将在浙大打造全球首个纯机器人送货点位,由机器人承担浙大菜鸟驿站3万多件包裹的送货上门服务。

佚名 ·  1天前
MIT用19个神经元实现自动驾驶控制,灵感来自秀丽隐杆线虫

打造一个自动驾驶控制系统需要多少个神经元?MIT的科学家告诉你,最少只要19个!方法是向线虫这种初等生物学习。

晓查 ·  1天前
下一代人工智能的发展方向 (下)

之前的文章《下一代人工智能的发展方向 (上)》涵盖了AI内的三个新兴领域,(无监督学习、联合学习和Transformer)这些领域将在未来几年重新定义人工智能领域和社会。本文将再介绍另外三个:

蒙光伟 ·  1天前
下一代人工智能的发展方向 (上)

本文重点介绍了AI中的三个新兴领域,这些领域将在未来的几年中重新定义人工智能领域和社会。

蒙光伟 ·  1天前
百花齐放的自动驾驶,距离真正上路还有多远?

自动驾驶概念从诞生以来一直都是资本和技术创业者青睐的领域之一。新基建大背景下,伴随着5G商用的逐渐成熟,自动驾驶领域的热度自然是居高不下。

短颈鹿先生 ·  1天前
神经网络内部长啥样?

在这篇论文中,她将这些“黑匣子”一个个打开,对神经网络原理进行了详细的解释。

佚名 ·  1天前
8500万个工作岗位将被取代,工人如何保住“饭碗”?

2020年初,突如其来的疫情让不少工厂面临着“无人可用”的境地,而一些工厂因为机器人的大量使用,却没有受到很大影响,早早的复工复产,生产秩序稳定。

佚名 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载