什么是自注意力机制?

作者: 机器之心 2018-08-26 22:25:36

自注意力机制

作者:KION KIM

机器之心编译

参与:Geek AI、刘晓坤

注意力机制模仿了生物观察行为的内部过程,即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征,因而被广泛用于自然语言处理任务,特别是机器翻译。而自注意力机制是注意力机制的改进,其减少了对外部信息的依赖,更擅长捕捉数据或特征的内部相关性。本文通过文本情感分析的案例,解释了自注意力机制如何应用于稀疏文本的单词对表征加权,并有效提高模型效率。

目前有许多句子表征的方法。本文作者之前的博文中已经讨论了 5 中不同的基于单词表征的句子表征方法。想要了解更多这方面的内容,你可以访问以下链接:

https://kionkim.github.io/(尽管其中大多数资料是韩文)

句子表征

在文本分类问题中,仅仅对句子中的词嵌入求平均的做法就能取得良好的效果。而文本分类实际上是一个相对容易和简单的任务,它不需要从语义的角度理解句子的意义,只需要对单词进行计数就足够了。例如,对情感分析来说,算法需要对与积极或消极情绪有重要关系的单词进行计数,而不用关心其位置和具体意义为何。当然,这样的算法应该学习到单词本身的情感。

循环神经网络

为了更好地理解句子,我们应该更加关注单词的顺序。为了做到这一点,循环神经网络可以从一系列具有以下的隐藏状态的输入单词(token)中抽取出相关信息。

当我们使用这些信息时,我们通常只使用***一个时间步的隐藏状态。然而,想要从仅仅存储在一个小规模向量中的句子表达出所有的信息并不是一件容易的事情。

卷积神经网络

借鉴于 n-gram 技术的思路,卷积神经网络(CNN)可以围绕我们感兴趣的单词归纳局部信息。为此,我们可以应用如下图所示的一维卷积。当然,下面仅仅给出了一个例子,我们也可以尝试其它不同的架构。

卷积神经网络

大小为 3 的一维卷积核扫描我们想要归纳信息的位置周围的单词。为此,我们必须使用大小为 1 的填充值(padding),从而使过滤后的长度保持与原始长度 T 相同。除此之外,输出通道的数量是 c_1。

接着,我们将另一个过滤器应用于特征图,最终将输入的规模转化为 c_2*T。这一系列的过程实在模仿人类阅读句子的方式,首先理解 3 个单词的含义,然后将它们综合考虑来理解更高层次的概念。作为一种衍生技术,我们可以利用在深度学习框架中实现的优化好的卷积神经网络算法来达到更快的运算速度。

关系网络

单词对可能会为我们提供关于句子的更清楚的信息。实际情况中,某个单词往往可能会根据其不同的用法而拥有不同的含义。例如,「I like」中的单词「like」(喜欢)和它在「like this」(像... 一样)中的含义是不同的。如果我们将「I」和「like」一同考虑,而不是将「like」和「this」放在一起考虑,我们可以更加清楚地领会到句子的感情。这绝对是一种积极的信号。Skip gram 是一种从单词对中检索信息的技术,它并不要求单词对中的单词紧紧相邻。正如单词「skip」所暗示的那样,它允许这些单词之间有间隔。

关系网络

正如你在上图中所看到的,一对单词被输入到函数 f(⋅) 中,从而提取出它们之间的关系。对于某个特定的位置 t,有 T-1 对单词被归纳,而我们通过求和或平均或任意其它相关的技术对句子进行表征。当我们具体实现这个算法时,我们会对包括当前单词本身的 T 对单词进行这样的计算。

需要一种折衷方法

我们可以将这三种不同的方法写作同一个下面的通用形式:

当所有的 I_{t,⋅} 为 1 时,通用形式说明任何「skip bigram」对于模型的贡献是均匀的。

对于 RNN 来说,我们忽略单词 x_t 之后的所有信息,因此上述方程可以化简为:

对于双向 RNN 来说,我们可以考虑从 x_T 到 x_t 的后向关系。

另一方面,CNN 只围绕我们感兴趣的单词浏览信息,如果我们只关心单词 x_t 前后的 k 个单词,通用的公式可以被重新排列为:

尽管关系网络可能过于庞大,以至于我们不能考虑所有单词对关系。而 CNN 的规模又太小了,我们不能仅仅考虑它们之间的局部关系。所以,我们需要在这两个极端之间找到一种折衷的方式,这就是所谓的注意力机制。

自注意力机制

上文提到的通用形式可以被重新改写为下面更加灵活的形式:

在这里,α(⋅,⋅) 控制了每个单词组合可能产生的影响。例如,在句子「I like you like this」中,两个单词「I」和「you」可能对于确定句子的情感没有帮助。然而,「I」和「like」的组合使我们对这句话的情感有了一个清晰的认识。在这种情况下,我们给予前一种组合的注意力很少,而给予后一种组合的注意力很多。通过引入权重向量 α(⋅,⋅),我们可以让算法调整单词组合的重要程度。

假设第 i 个句子中的 T 个单词被嵌入到了 H_{i1},…,H_{iT} 中,每个词嵌入都会被赋予一个权重 α_{it},它代表了将单词归纳到一个统一的表征中时的相对重要性。

我们在这里想要拥有的最终结果是每个输入句子的权重矩阵。如果我们把 10 个句子输入到网络中,我们会得到 10 个如下所示的注意力矩阵。

自注意力机制的实现

自注意力机制在论文「A structured Self-Attentive Sentence Embedding」中被***提出,此文作者将自注意力机制应用于双向 LSTM 的隐层,模型结构如下图所示:

论文地址:https://arxiv.org/pdf/1703.03130.pdf

然而,我们并不一定要用 LSTM 来做单词表征(并不一定是单词表征,我的意思是句子表征之前的阶段),我们将把自注意力机制应用到基于关系网络的单词表征中。

与原论文中的自注意力机制不同(如上图所示,数学上的细节可以在我的上一篇博文中找到),关系网络的注意力机制可以被定义为:

参见:

https://kionkim.github.io/_posts/2018-07-12-sentiment_analysis_self_attention.md

为了解释上面的图标,不妨假设我们想要得到第 i 个单词的表征。对于包含第 i 个单词的单词组合,会生成两个输出:一个用于特征提取(绿色圆圈),另一个用于注意力加权(红色圆圈)。这两个输出可能共享同一个网络,但在本文中,我们为每个输出使用单独的网络。在得到***的注意力权重之前,注意力(红色圆圈)的输出通过需要经过 sigmoid 和 softmax 层的运算。这些注意力权重会与提取出的特征相乘,以得到我们感兴趣的单词的表征。

用 Gluon 实现 自注意力机制

在具体实现部分,我们假设网络结构十分简单,有两个相连的全连接层用于关系提取,有一个全连接层用于注意力机制。紧跟着是两个相连的全连接层用于分类。在这里,关系提取和注意力提取会用到下面的代码片段:

  1. class Sentence_Representation(nn.Block): 
  2.     def __init__(self, **kwargs): 
  3.         super(Sentence_Representation, self).__init__() 
  4.         for (k, v) in kwargs.items(): 
  5.             setattr(self, k, v) 
  6.  
  7.         with self.name_scope(): 
  8.             self.embed = nn.Embedding(self.vocab_size, self.emb_dim) 
  9.             self.g_fc1 = nn.Dense(self.hidden_dim,activation='relu'
  10.             self.g_fc2 = nn.Dense(self.hidden_dim,activation='relu'
  11.             self.attn = nn.Dense(1, activation = 'tanh'
  12.  
  13.     def forward(self, x): 
  14.         embeds = self.embed(x) # batch * time step * embedding 
  15.         x_i = embeds.expand_dims(1) 
  16.         x_i = nd.repeat(x_i,repeatsself.sentence_length, axis=1) # batch * time step * time step * embedding 
  17.         x_j = embeds.expand_dims(2) 
  18.         x_j = nd.repeat(x_j,repeatsself.sentence_length, axis=2) # batch * time step * time step * embedding 
  19.         x_full = nd.concat(x_i,x_j,dim=3) # batch * time step * time step * (2 * embedding) 
  20.         # New input data 
  21.         _x = x_full.reshape((-1, 2 * self.emb_dim)) 
  22.  
  23.         # Network for attention 
  24.         _attn = self.attn(_x) 
  25.         _att = _attn.reshape((-1, self.sentence_length, self.sentence_length)) 
  26.         _att = nd.sigmoid(_att) 
  27.         att = nd.softmax(_att, axis = 1
  28.  
  29.         _x = self.g_fc1(_x) # (batch * time step * time step) * hidden_dim 
  30.         _x = self.g_fc2(_x) # (batch * time step * time step) * hidden_dim 
  31.         # add all (sentence_length*sentence_length) sized result to produce sentence representation 
  32.  
  33.         x_g = _x.reshape((-1, self.sentence_length, self.sentence_length, self.hidden_dim)) 
  34.  
  35.         _inflated_att = _att.expand_dims(axis = -1) 
  36.         _inflated_att = nd.repeat(_inflated_att, repeats = self.hidden_dim, axis = 3
  37.  
  38.         x_q = nd.multiply(_inflated_att, x_g) 
  39.  
  40.         sentence_rep = nd.mean(x_q.reshape(shape = (-1, self.sentence_length **2, self.hidden_dim)), axis1
  41.         return sentence_rep, att 

我们将为特征提取和注意力机制运用独立的网络。最终得到的注意力向量的规模为 T*1,提取出的特征向量的规模为 T*d,其中 d 为超参数。为了将二者相乘,我们只需要将注意力向量扩展到与提取出的特征向量的规模相匹配。我们在这里提供的只是一个小例子,其它的实现可能会更好。

完整的实现代码可以从以下链接获得:

https://210.121.159.217:9090/kionkim/stat-analysis/blob/master/nlp_models/notebooks/text_classification_RN_SA_umich.ipynb。

结果

下面是 9 个随机选择的注意力矩阵:

当对文本进行分类时,我们可以知道算法将把注意力放在那些单词上。正如预期的那样,在分类过程中,「love」、「awesome」、「stupid」、「suck」这样表达情感的单词受到了重点关注。

参考链接:https://medium.com/@kion.kim/self-attention-a-clever-compromise-4d61c28b8235

【本文是51CTO专栏机构“机器之心”的原创文章,微信公众号“机器之心( id: almosthuman2014)”】

戳这里,看该作者更多好文

自注意力机制 神经网络 算法 模型
上一篇:使用tensorflow构建一个卷积神经网络 下一篇:集成学习:三个臭皮匠,赛过诸葛亮
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

听说你的多智能体强化学习算法不work?你用对MAPPO了吗

清华和UC伯克利联合研究发现,在不进行任何算法或者网络架构变动的情况下,用 MAPPO(Multi-Agent PPO)在 3 个具有代表性的多智能体任务(Multi-Agent Particle World, StarCraftII, Hanabi)中取得了与 SOTA 算法相当的性能。

机器之心 ·  18h前
Facebook新AI模型SEER实现自监督学习,LeCun大赞最有前途

刚刚,Facebook宣布了一个在10亿张图片上训练的AI模型——SEER,是自监督(Self-supervised)的缩写。

新智元 ·  20h前
整个宇宙可能是个巨大的神经网络?科学家们是这样解释的

整个宇宙就是个神经网络,所有人类则是其中的节点?一脸震惊!

佚名 ·  1天前
模型压缩6倍,无需重训练:数学家团队提出量化新方法

RUDN 大学的数学家团队找到一种新方法,该方法能够让神经网络的大小减小到六分之一,且无需花费更多的资源重新训练。

小舟 ·  2021-02-20 16:07:27
机器学习中分类任务的常用评估指标和Python代码实现

假设您的任务是训练ML模型,以将数据点分类为一定数量的预定义类。 一旦完成分类模型的构建,下一个任务就是评估其性能。 有许多指标可以帮助您根据用例进行操作。 在此文章中,我们将尝试回答诸如何时使用? 它是什么? 以及如何实施?

deephub ·  2021-02-14 14:31:35
细数从Al算法到产品化落地的八大鸿沟

AI产业要真正产生价值,推动社会发展,面临着很多的挑战。从AI算法到产品化落地存在巨大的挑战,可以总结为八大鸿沟。

陶然 ·  2021-02-10 07:12:05
用Python神经网络预测汽车保险支出

在本教程中,您将发现如何为瑞典汽车保险回归数据集开发多层Perceptron神经网络模型。

沂水寒城 ·  2021-02-07 09:40:19
斯坦福新书《决策算法》发布,全文400多页PDF免费下载!

最近,斯坦福大学发布了一则新书《决策算法》,该书主要阐述了不确定性决策的算法,面向的是高年级本科生、研究生和专业人员,全书PDF资源都可免费下载哦!

新智元 ·  2021-02-02 12:17:05
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载