句法敏感的实体表示用于神经网络关系抽取

作者: 阿里巴巴授权发布 2018-02-25 11:31:06

句法敏感的实体表示用于神经网络关系抽取。关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。近年来基于神经网络的关系抽取模型把句子表示到一个低维空间。这篇论文的创新在于把句法信息加入到实体的表示模型里。

首先,基于Tree-GRU,把实体上下文的依存树放入句子级别的表示。其次,利用句子间和句子内部的注意力,来获得含有目标实体的句子集合的表示。

研究背景和动机

关系抽取任务大规模应用的一个主要瓶颈就是语料的获取。远程监督模型通过将知识库应用于非结构化文本对齐来自动构建大规模训练数据,从而减轻对人工构建数据的依赖程度,并使得模型跨领域适应能力得到增强。然而,在利用远程监督构建语料的过程中,仅仅利用实体名称进行对齐,而不同实体在不同关系下应该具有更加丰富的多样的语义表示,从而导致错误标注等问题。因此,一套更加丰富的实体表示显得尤为重要。

另一方,基于语法信息的方法通常作用于两个实体之间的关系上,而语法信息是可以更加丰富实体的表示的。因此,本文基于句法上下文的实体表示来丰富实体在不同关系模式下的语义,并结合神经网络模型处理关系抽取任务。

相关工作介绍

我们把相关的工作大致分成早期基于远程监督的方法和近年来基于神经网络模型两类。

为了解决关系抽取任务严重依赖于标注语料的问题,Mintz et al.(2009)率先提出了基于远程监督的方法构建标注语料。然而,这样构建的自动标注语料含有大量的噪声。为了缓解语料中噪声带来的影响,Riedel et al.(2010)将关系抽取看成是一个多实例单类别的问题。进一步的,Hoffmann et al.(2011)和Surdeanu et al.(2012)采取了多实例多类别的策略。同时,采用最短依存路径作为关系的一个语法特征。上述方法典型的缺陷在于模型的性能依赖于特征模板的设计。

近年来,神经网络被广泛的应用于自然语言处理任务上。在关系抽取领域,Socher et al.(2012)采用循环神经网络来处理关系抽取。Zeng et al.(2014)则构建了端到端的卷积神经网络,进一步的,Zeng et al.(2015)假设多实例中至少有一个实例正确地表示了相应的关系。相比于假设有一个实例表示一对实体的关系,Lin et al.(2016)通过注意力机制挑选正面的实例更充分的使用了标注语料含有的信息。

以上这些基于神经网络的方法大多数都使用词层次的表示来生成句子的向量表示。另一方面,基于语法信息的表示也受到了众多研究者的青睐,其中最主要的即最短依存路径(Miwa and Bansal(2016)和Cai et al.(2016))。

主要方法

首先,基于依存句法树,利用基于树结构的循环神经网络(Tree-GRU)模型生成实体在句子级别的表示。如上图所示,有别于仅仅使用实体本身,我们能够更好地表达出长距离的信息。具体的实体语义表示如下图所示。我们使用Tree-GRU来获得实体的语义表示。

其次,利用基于子节点的注意力机制(ATTCE,上图)和基于句子级别的实体表示注意力机制(ATTEE,下图)来减轻句法错误和错误标注的负面影响。

实验结果

本文在NYT语料上进行了实验。最终结果如上图所示。其中,SEE-CAT和SEE-TRAINS分别是本文使用的两种结合三种向量表示(句子的向量表示,两个实体的向量表示)的策略。从图中可以看出,本文提出的模型在相同数据集上取得了比现有远程监督关系抽取模型更好的性能。

总结

本文的实验结果表明,更丰富的命名实体语义表示能够有效地帮助到最终的关系抽取任务。

团队名称:业务平台事业部

作者:何正球,陈文亮,张梅山,李正华,张伟,张民

句法敏感 神经网络关系 抽取
上一篇:比尔·盖茨:我不认为中国AI能弯道超车 下一篇:MIT用新AI技术让视频不再卡顿
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

百度CTO王海峰CNCC2019演讲:深度学习平台支撑产业智能化

百度CTO王海峰在会上发表题为《深度学习平台支撑产业智能化》的演讲,分享了百度关于深度学习技术推动人工智能发展及产业化应用的思考,并深度解读百度飞桨深度学习平台的优势,以及与百度智能云结合助力产业智能化的成果。

佚名 ·  1天前
超过Google,微信AI在NLP领域又获一项世界第一

微信AI,NLP领域又获一项世界第一,这次是在机器阅读理解方面。

乾明 ·  2天前
AI如何改善采矿行业现状?

人工智能的引入,有望将采矿业转化成一个更安全、利润空间更大且更为环保的行业。

佚名 ·  2天前
大小仅1MB!超轻量级的人脸识别模型火爆Github

近日,用户Linzaer在Github上开源了一款适用于边缘计算设备、移动端设备以及 PC 的超轻量级通用人脸检测模型,该模型文件大小仅1MB,一经开源就霸榜Github Trending榜单。

佚名 ·  2天前
你知道选工业机器人9大参数?

智能制造是全球工业制造企业所追求的目标,在向智能化转型中,涉及到设备、生产、业务、企业管理等方方面面,引用到很多先进设备和技术,如工业机器人,那么在选择工业机器人时,需要关注哪些参数?

佚名 ·  2天前
大数据和人工智能如何协同工作

人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注,但这并不意味着大数据技术没有得到发展。如果说有什么不同的话,那就是大数据的规模正在变得越来越大。

Kevin Casey ·  3天前
麻省理工学院开发出组装机器人:未来可建造太空殖民地

麻省理工学院博士生本杰明·杰内特(Benjamin Jenett)和原子中心的尼尔·格申费尔德教授(Neil Gershenfeld)在《电气电子工程师学会机器人与自动化快报》科学期刊上发表报告称,开发出一种组装机器人原型,它可以用很小的零件制成大型结构。

技术力量 ·  3天前
刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载