一文搞懂RNN(循环神经网络)基础篇

作者: 忆臻 2017-11-29 13:55:55

一文搞懂RNN(循环神经网络)基础篇

1.神经网络基础

神经网络可以当做是能够拟合任意函数的黑盒子,只要训练数据足够,给定特定的x,就能得到希望的y,结构图如下:

将神经网络模型训练好之后,在输入层给定一个x,通过网络之后就能够在输出层得到特定的y,那么既然有了这么强大的模型,为什么还需要RNN(循环神经网络)呢?

 2.为什么需要RNN(循环神经网络)

他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。

比如,当我们在理解一句话意思时,孤立的理解这句话的每个词是不够的,我们需要处理这些词连接起来的整个序列; 当我们处理视频的时候,我们也不能只单独的去分析每一帧,而要分析这些帧连接起来的整个序列。

以nlp的一个最简单词性标注任务来说,将我 吃 苹果 三个单词标注词性为 我/nn 吃/v 苹果/nn。

那么这个任务的输入就是:

我 吃 苹果 (已经分词好的句子)

这个任务的输出是:

我/nn 吃/v 苹果/nn(词性标注好的句子)

对于这个任务来说,我们当然可以直接用普通的神经网络来做,给网络的训练数据格式了就是我-> 我/nn 这样的多个单独的单词->词性标注好的单词。

但是很明显,一个句子中,前一个单词其实对于当前单词的词性预测是有很大影响的,比如预测苹果的时候,由于前面的吃是一个动词,那么很显然苹果作为名词的概率就会远大于动词的概率,因为动词后面接名词很常见,而动词后面接动词很少见。

所以为了解决一些这样类似的问题,能够更好的处理序列的信息,RNN就诞生了。

 3.RNN结构

首先看一个简单的循环神经网络如,它由输入层、一个隐藏层和一个输出层组成:

不知道初学的同学能够理解这个图吗,反正我刚开始学习的时候是懵逼的,每个结点到底代表的是一个值的输入,还是说一层的向量结点集合,如何隐藏层又可以连接到自己,等等这些疑惑~这个图是一个比较抽象的图。

我们现在这样来理解,如果把上面有W的那个带箭头的圈去掉,它就变成了最普通的全连接神经网络。

x是一个向量,它表示输入层的值(这里面没有画出来表示神经元节点的圆圈);s是一个向量,它表示隐藏层的值(这里隐藏层面画了一个节点,你也可以想象这一层其实是多个节点,节点数与向量s的维度相同);

U是输入层到隐藏层的权重矩阵,o也是一个向量,它表示输出层的值;V是隐藏层到输出层的权重矩阵。

那么,现在我们来看看W是什么。循环神经网络的隐藏层的值s不仅仅取决于当前这次的输入x,还取决于上一次隐藏层的值s。权重矩阵 W就是隐藏层上一次的值作为这一次的输入的权重。

我们给出这个抽象图对应的具体图:

我们从上图就能够很清楚的看到,上一时刻的隐藏层是如何影响当前时刻的隐藏层的。

如果我们把上面的图展开,循环神经网络也可以画成下面这个样子:

现在看上去就比较清楚了,这个网络在t时刻接收到输入  之后,隐藏层的值是  ,输出值是  。关键一点是,  的值不仅仅取决于  ,还取决于  。我们可以用下面的公式来表示循环神经网络的计算方法:

用公式表示如下:

 4.总结

好了,到这里大概讲解了RNN最基本的几个知识点,能够帮助大家直观的感受RNN和了解为什么需要RNN,后续总结它的反向求导知识点。

***给出RNN的总括图:

神经网络 循环神经网络 RNN
上一篇:机器学习怎么学?阿里程序员只用七步带你掌握Python机器学习! 下一篇:带你深入剖析递归神经网络
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

新的人工神经元设备可以使用极少能量运行神经网络计算

加州大学圣地亚哥分校的研究人员开发了一种新的人工神经元装置,训练神经网络来执行任务。

佚名 ·  2021-04-29 08:50:39
进行三万多次地震训练后,他们发现了快速预测震动强度的新方法

用来训练DeepShake网络的地震数据是来自于2019年加州Ridgecrest序列的地震记录。

大数据文摘 ·  2021-04-28 14:35:55
高数有救了!神经网络不到一秒就能求解偏微分方程

对于特别复杂的偏微分方程,可能需要数百万个CPU小时才能求解出来一个结果。随着问题越来越复杂,从设计更优秀的火箭发动机到模拟气候变化,科学家们需要一个更「聪明」的求解方法。

新智元 ·  2021-04-22 09:44:40
有了这支矢量神经风格画笔,无需GAN也可生成精美绘画

一种新的神经风格画笔能够生成矢量形式的绘画作品,在统一框架下支持油画、马克笔、水彩画等多种笔触,并可进一步风格化。

机器之心 ·  2021-04-21 14:58:49
ICLR 2021研究挖掘游戏技能包?有序记忆决策网络帮你实现

在现实世界里,人类尤其具有这种将复杂任务有效分解为多个子任务的能力。这种能力帮助人类面对新环境时加速自身的学习过程并获得更好的泛化能力。

Yucheng Lu, Yikang Shen等 ·  2021-04-19 13:57:12
CPU比GPU训练神经网络快十几倍,英特尔:别用矩阵运算了

神经网络训练通常是 GPU 大显身手的领域,然而莱斯大学和英特尔等机构对 GPU 的地位发起了挑战。

机器之心 ·  2021-04-09 15:45:08
Facebook创造了两个会交流的神经网络来描述颜色

尽管人类世界拥有数千种语言,但是使用词语来表示不同颜色的方式是非常一致的。

佚名 ·  2021-03-30 17:16:44
美媒:人工智能发展五大趋势引期待

人工智能创新继续快速发展,几乎所有行业都出现了爆炸式增长。那么,过去一年里我们收获了什么?我们可以对2021年的人工智能发展有何期待?人工智能发展已经出现了五大趋势。预计这些趋势将在2021年变得更加突出。

参考消息 ·  2021-03-22 13:00:38
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载