TensorFlow中RNN实现的正确打开方式

作者: 何之源 2017-08-02 10:43:39

TensorFlow中RNN实现的正确打开方式

这篇文章的主要内容为如何在TensorFlow中实现RNN的几种结构:

  • 一个完整的、循序渐进的学习TensorFlow中RNN实现的方法。这个学习路径的曲线较为平缓,应该可以减少不少学习精力,帮助大家少走弯路。
  • 一些可能会踩的坑
  • TensorFlow源码分析
  • 一个Char RNN实现示例,可以用来写诗,生成歌词,甚至可以用来写网络小说!

一、学习单步的RNN:RNNCell

如果要学习TensorFlow中的RNN,***站应该就是去了解“RNNCell”,它是TensorFlow中实现RNN的基本单元,每个RNNCell都有一个call方法,使用方式是:(output, next_state) = call(input, state)。

借助图片来说可能更容易理解。假设我们有一个初始状态h0,还有输入x1,调用call(x1, h0)后就可以得到(output1, h1):

再调用一次call(x2, h1)就可以得到(output2, h2):

也就是说,每调用一次RNNCell的call方法,就相当于在时间上“推进了一步”,这就是RNNCell的基本功能。

在代码实现上,RNNCell只是一个抽象类,我们用的时候都是用的它的两个子类BasicRNNCell和BasicLSTMCell。顾名思义,前者是RNN的基础类,后者是LSTM的基础类。这里推荐大家阅读其源码实现,一开始并不需要全部看一遍,只需要看下RNNCell、BasicRNNCell、BasicLSTMCell这三个类的注释部分,应该就可以理解它们的功能了。

除了call方法外,对于RNNCell,还有两个类属性比较重要:

  • state_size
  • output_size

前者是隐层的大小,后者是输出的大小。比如我们通常是将一个batch送入模型计算,设输入数据的形状为(batch_size, input_size),那么计算时得到的隐层状态就是(batch_size, state_size),输出就是(batch_size, output_size)。

可以用下面的代码验证一下(注意,以下代码都基于TensorFlow***的1.2版本):

  1. import tensorflow as tf 
  2. import numpy as np 
  3.  
  4. cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128) # state_size = 128 
  5. print(cell.state_size) # 128 
  6.  
  7. inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size 
  8. h0 = cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态,形状为(batch_size, state_size) 
  9. output, h1 = cell.call(inputs, h0) #调用call函数 
  10.  
  11. print(h1.shape) # (32, 128)  

对于BasicLSTMCell,情况有些许不同,因为LSTM可以看做有两个隐状态h和c,对应的隐层就是一个Tuple,每个都是(batch_size, state_size)的形状:

  1. import tensorflow as tf 
  2. import numpy as np 
  3. lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(num_units=128) 
  4. inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size 
  5. h0 = lstm_cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态 
  6. output, h1 = lstm_cell.call(inputs, h0) 
  7.  
  8. print(h1.h)  # shape=(32, 128) 
  9. print(h1.c)  # shape=(32, 128)  

二、学习如何一次执行多步:tf.nn.dynamic_rnn

基础的RNNCell有一个很明显的问题:对于单个的RNNCell,我们使用它的call函数进行运算时,只是在序列时间上前进了一步。比如使用x1、h0得到h1,通过x2、h1得到h2等。这样的h话,如果我们的序列长度为10,就要调用10次call函数,比较麻烦。对此,TensorFlow提供了一个tf.nn.dynamic_rnn函数,使用该函数就相当于调用了n次call函数。即通过{h0,x1, x2, …., xn}直接得{h1,h2…,hn}。

具体来说,设我们输入数据的格式为(batch_size, time_steps, input_size),其中time_steps表示序列本身的长度,如在Char RNN中,长度为10的句子对应的time_steps就等于10。***的input_size就表示输入数据单个序列单个时间维度上固有的长度。另外我们已经定义好了一个RNNCell,调用该RNNCell的call函数time_steps次,对应的代码就是:

  1. # inputs: shape = (batch_size, time_steps, input_size)  
  2. # cell: RNNCell 
  3. # initial_state: shape = (batch_size, cell.state_size)。初始状态。一般可以取零矩阵 
  4. outputs, state = tf.nn.dynamic_rnn(cell, inputs, initial_state=initial_state)  

此时,得到的outputs就是time_steps步里所有的输出。它的形状为(batch_size, time_steps, cell.output_size)。state是***一步的隐状态,它的形状为(batch_size, cell.state_size)。

此处建议大家阅读tf.nn.dynamic_rnn的文档做进一步了解。

三、学习如何堆叠RNNCell:MultiRNNCell

很多时候,单层RNN的能力有限,我们需要多层的RNN。将x输入***层RNN的后得到隐层状态h,这个隐层状态就相当于第二层RNN的输入,第二层RNN的隐层状态又相当于第三层RNN的输入,以此类推。在TensorFlow中,可以使用tf.nn.rnn_cell.MultiRNNCell函数对RNNCell进行堆叠,相应的示例程序如下:

  1. import tensorflow as tf 
  2. import numpy as np 
  3.  
  4. # 每调用一次这个函数就返回一个BasicRNNCell 
  5. def get_a_cell(): 
  6.     return tf.nn.rnn_cell.BasicRNNCell(num_units=128) 
  7. # 用tf.nn.rnn_cell MultiRNNCell创建3层RNN 
  8. cell = tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(3)]) # 3层RNN 
  9. # 得到的cell实际也是RNNCell的子类 
  10. # 它的state_size是(128, 128, 128) 
  11. # (128, 128, 128)并不是128x128x128的意思 
  12. # 而是表示共有3个隐层状态,每个隐层状态的大小为128 
  13. print(cell.state_size) # (128, 128, 128) 
  14. # 使用对应的call函数 
  15. inputs = tf.placeholder(np.float32, shape=(32, 100)) # 32 是 batch_size 
  16. h0 = cell.zero_state(32, np.float32) # 通过zero_state得到一个全0的初始状态 
  17. output, h1 = cell.call(inputs, h0) 
  18. print(h1) # tuple中含有3个32x128的向量  

通过MultiRNNCell得到的cell并不是什么新鲜事物,它实际也是RNNCell的子类,因此也有call方法、state_size和output_size属性。同样可以通过tf.nn.dynamic_rnn来一次运行多步。

此处建议阅读MutiRNNCell源码中的注释进一步了解其功能。

四、可能遇到的坑1:Output说明

在经典RNN结构中有这样的图:

在上面的代码中,我们好像有意忽略了调用call或dynamic_rnn函数后得到的output的介绍。将上图与TensorFlow的BasicRNNCell对照来看。h就对应了BasicRNNCell的state_size。那么,y是不是就对应了BasicRNNCell的output_size呢?答案是否定的。

找到源码中BasicRNNCell的call函数实现:

  1. def call(self, inputs, state): 
  2.     """Most basic RNN: output = new_state = act(W * input + U * state + B).""" 
  3.     output = self._activation(_linear([inputs, state], self._num_units, True)) 
  4.     return outputoutput  

这句“return output, output”说明在BasicRNNCell中,output其实和隐状态的值是一样的。因此,我们还需要额外对输出定义新的变换,才能得到图中真正的输出y。由于output和隐状态是一回事,所以在BasicRNNCell中,state_size永远等于output_size。TensorFlow是出于尽量精简的目的来定义BasicRNNCell的,所以省略了输出参数,我们这里一定要弄清楚它和图中原始RNN定义的联系与区别。

再来看一下BasicLSTMCell的call函数定义(函数的***几行):

  1. new_c = ( 
  2.     c * sigmoid(f + self._forget_bias) + sigmoid(i) * self._activation(j)) 
  3. new_h = self._activation(new_c) * sigmoid(o) 
  4.  
  5. if self._state_is_tuple: 
  6.   new_state = LSTMStateTuple(new_c, new_h) 
  7. else
  8.   new_state = array_ops.concat([new_c, new_h], 1) 
  9. return new_h, new_state  

我们只需要关注self._state_is_tuple == True的情况,因为self._state_is_tuple == False的情况将在未来被弃用。返回的隐状态是new_c和new_h的组合,而output就是单独的new_h。如果我们处理的是分类问题,那么我们还需要对new_h添加单独的Softmax层才能得到***的分类概率输出。

还是建议大家亲自看一下源码实现来搞明白其中的细节。

五、可能遇到的坑2:因版本原因引起的错误

在前面我们讲到堆叠RNN时,使用的代码是:

  1. # 每调用一次这个函数就返回一个BasicRNNCell 
  2. def get_a_cell(): 
  3.     return tf.nn.rnn_cell.BasicRNNCell(num_units=128) 
  4. # 用tf.nn.rnn_cell MultiRNNCell创建3层RNN 
  5. cell = tf.nn.rnn_cell.MultiRNNCell([get_a_cell() for _ in range(3)]) # 3层RNN  

这个代码在TensorFlow 1.2中是可以正确使用的。但在之前的版本中(以及网上很多相关教程),实现方式是这样的:

  1. one_cell = tf.nn.rnn_cell.BasicRNNCell(num_units=128) 
  2.  
  3. cell = tf.nn.rnn_cell.MultiRNNCell([one_cell] * 3) # 3层RNN  

如果在TensorFlow 1.2中还按照原来的方式定义,就会引起错误!

六、一个练手项目:Char RNN

上面的内容实际上就是TensorFlow中实现RNN的基本知识了。这个时候,建议大家用一个项目来练习巩固一下。此处特别推荐Char RNN项目,这个项目对应的是经典的RNN结构,实现它使用的TensorFlow函数就是上面说到的几个,项目本身又比较有趣,可以用来做文本生成,平常大家看到的用深度学习来写诗写歌词的基本用的就是它了。

Char RNN的实现已经有很多了,可以自己去Github上面找,我这里也做了一个实现,供大家参考。项目地址为:hzy46/Char-RNN-TensorFlow

我主要向代码中添加了embedding层,以支持中文,另外重新整理了代码结构,将API改成了***的TensorFlow 1.2版本。

可以用这个项目来写诗(以下诗句都是自动生成的):

何人无不见,此地自何如。

一夜山边去,江山一夜归。

山风春草色,秋水夜声深。

何事同相见,应知旧子人。

何当不相见,何处见江边。

一叶生云里,春风出竹堂。

何时有相访,不得在君心。

还可以生成代码:

  1. static int page_cpus(struct flags *str) 
  2.         int rc; 
  3.         struct rq *do_init; 
  4. }; 
  5.  
  6. /* 
  7.  * Core_trace_periods the time in is is that supsed, 
  8.  */ 
  9. #endif 
  10.  
  11. /* 
  12.  * Intendifint to state anded. 
  13.  */ 
  14. int print_init(struct priority *rt) 
  15. {       /* Comment sighind if see task so and the sections */ 
  16.         console(string, &can); 
  17.  

此外生成英文更不是问题(使用莎士比亚的文本训练):

LAUNCE:

The formity so mistalied on his, thou hast she was

to her hears, what we shall be that say a soun man

Would the lord and all a fouls and too, the say,

That we destent and here with my peace.

PALINA:

Why, are the must thou art breath or thy saming,

I have sate it him with too to have me of

I the camples.

***,如果你脑洞够大,还可以来做一些更有意思的事情,比如我用了著名的网络小说《斗破苍穹》训练了一个RNN模型,可以生成下面的文本:

闻言,萧炎一怔,旋即目光转向一旁的那名灰袍青年,然后目光在那位老者身上扫过,那里,一个巨大的石台上,有着一个巨大的巨坑,一些黑色光柱,正在从中,一道巨大的黑色巨蟒,一股极度恐怖的气息,从天空上暴射而出 ,然后在其中一些一道道目光中,闪电般的出现在了那些人影,在那种灵魂之中,却是有着许些强者的感觉,在他们面前,那一道道身影,却是如同一道黑影一般,在那一道道目光中,在这片天地间,在那巨大的空间中,弥漫而开……

“这是一位斗尊阶别,不过不管你,也不可能会出手,那些家伙,可以为了这里,这里也是能够有着一些异常,而且他,也是不能将其他人给你的灵魂,所以,这些事,我也是不可能将这一个人的强者给吞天蟒,这般一次,我们的实力,便是能够将之击杀……”

“这里的人,也是能够与魂殿强者抗衡。”

萧炎眼眸中也是掠过一抹惊骇,旋即一笑,旋即一声冷喝,身后那些魂殿殿主便是对于萧炎,一道冷喝的身体,在天空之上暴射而出,一股恐怖的劲气,便是从天空倾洒而下。

“嗤!”

还是挺好玩的吧,另外还尝试了生成日文等等。

七、学习完整版的LSTMCell

上面只说了基础版的BasicRNNCell和BasicLSTMCell。TensorFlow中还有一个“完全体”的LSTM:LSTMCell。这个完整版的LSTM可以定义peephole,添加输出的投影层,以及给LSTM的遗忘单元设置bias等,可以参考其源码了解使用方法。

八、学习***的Seq2Seq API

Google在TensorFlow的1.2版本(1.3.0的rc版已经出了,貌似正式版也要出了,更新真是快)中更新了Seq2Seq API,使用这个API我们可以不用手动地去定义Seq2Seq模型中的Encoder和Decoder。此外它还和1.2版本中的新数据读入方式Datasets兼容。可以阅读此处的文档学习它的使用方法。

九、总结

***简单地总结一下,这篇文章提供了一个学习TensorFlow RNN实现的详细路径,其中包括了学习顺序、可能会踩的坑、源码分析以及一个示例项目hzy46/Char-RNN-TensorFlow,希望能对大家有所帮助。

深度学习 TensorFlow RNN
上一篇:SMP、NUMA、MPP体系结构介绍 下一篇:如何用自动机器学习实现神经网络进化
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

百度CTO王海峰CNCC2019演讲:深度学习平台支撑产业智能化

百度CTO王海峰在会上发表题为《深度学习平台支撑产业智能化》的演讲,分享了百度关于深度学习技术推动人工智能发展及产业化应用的思考,并深度解读百度飞桨深度学习平台的优势,以及与百度智能云结合助力产业智能化的成果。

佚名 ·  4天前
深度学习/计算机视觉常见的8个错误总结及避坑指南

人类并不是完美的,我们经常在编写软件的时候犯错误。有时这些错误很容易找到:你的代码根本不工作,你的应用程序会崩溃。但有些 bug 是隐藏的,很难发现,这使它们更加危险。

skura ·  2019-10-17 09:58:01
2019年深度学习自然语言处理十大发展趋势 精选

自然语言处理在深度学习浪潮下取得了巨大的发展,FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势,是了解NLP发展的非常好的文章。

HU数据派 ·  2019-10-16 14:10:24
图灵奖得主Yoshua Bengio:深度学习当务之急,是理解因果关系

深度学习擅长在大量数据中发现模式,但无法解释它们之间的联系,而图灵奖获得者Yoshua Bengio想要改变这一点。

佚名 ·  2019-10-15 05:15:00
2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

大数据文摘 ·  2019-10-11 23:18:15
18个挑战项目带你快速入门深度学习

AlphaGo 大战李世?h之后,深度学习技术便在国内变得异常火。吸引了大批的技术人员争相学习,那么到底如何才能更快速的入门深度学习呢?下面给大家介绍的 18 个挑战项目,通过实践动手带你快速入门深度学习!

实验楼 ·  2019-10-10 14:48:19
盘点 | 8个你可能不知道的深度学习应用案例

深度学习与传统机器学习系统的不同之处在于,它能够在分析大型数据集时进行自我学习和改进,因此能应用在许多不同的领域。

天极网 ·  2019-10-10 14:15:18
2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载