CNN与RNN比较与组合

作者: AI火箭营 2018-11-01 09:14:42

CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的对比,以及各种组合方式。

一、CNN与RNN对比

1. CNN卷积神经网络与RNN递归神经网络直观图

2. 相同点:

  • 传统神经网络的扩展。
  • 前向计算产生结果,反向计算模型更新。
  • 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3. 不同点

  • CNN空间扩展,神经元与特征卷积;RNN时间扩展,神经元与多个时间输出计算
  • RNN可以用于描述时间上连续状态的输出,有记忆功能,CNN用于静态输出
  •  CNN高级100+深度,RNN深度有限

二、CNN+RNN组合方式

1. CNN 特征提取,用于RNN语句生成图片标注。

CNN+RNN

2. RNN特征提取用于CNN内容分类视频分类。

CNN+RNN

3. CNN特征提取用于对话问答图片问答。

三、具体应用

1. 图片标注

基本思路:

  • 目标是产生标注的语句,是一个语句生成的任务,LSTM?
  • 描述的对象大量图像信息,图像信息表达,CNN?

CNN网络中全连接层特征描述图片,特征与LSTM输入结合。

具体步骤:

(1) 模型设计-特征提取

全连接层特征用来描述原图片

LSTM输入:word+图片特征;输出下一word。

(2) 模型设计-数据准备

  • 图片CNN特征提取
  • 图片标注生成Word2Vect 向量
  • 生成训练数据:图片特征+第n单词向量:第n+1单词向量。

(3) 模型训练:

  • 运用迁移学习,CNN特征,语句特征应用已有模型
  • 最终的输出模型是LSTM,训练过程的参数设定:梯度上限(gradient clipping), 学习率调整(adaptivelearning)
  • 训练时间很长。

(4) 模型运行:

  • CNN特征提取
  • CNN 特征+语句开头,单词逐个预测

2. 视频行为识别 :

视频中在发 生什么?

常用方法总结:

(1) RNN用于CNN特征融合:

  • CNN 特征提取
  • LSTM判断
  • 多次识别结果分析。

不同的特征不同输出。

或者:所有特征作为一个输出。

(2) RNN用于CNN特征筛选+融合:

  • 并不是所有的视频 图像包含确定分类信息
  • RNN用于确定哪些frame 是有用的
  • 对有用的图像特征 融合。

(3) RNN用于目标检测:

  • CNN直接产生目标候选区
  • LSTM对产生候选区融合(相邻时刻位置近 似)
  • 确定最终的精确位置。

(4) 多种模型综合:应用中,为了产生***结果,多采用多模型ensemble形式。

CNN RNN 神经网络
上一篇:“先天不足”的谷歌无人驾驶,商业化难逃“夭折”宿命? 下一篇:百度世界交出AI应用成绩单 落地国民经济三大产业
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

从零开始构建简单人工神经网络:1个隐藏层

我们在本文中将构建一个有1个输入层、1个隐藏层和1个输出层的神经网络。我们会看到,我们构建的神经网络能够找到非线性边界。

布加迪 ·  2020-03-26 09:00:00
AI芯片之卷积神经网络原理

卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。

人人都是极客 ·  2020-03-25 09:48:10
从零开始构建简单人工神经网络:1个输入层和1个输出层

本上下篇将介绍仅使用numpy Python库从零开始构建人工神经网络(ANN)。上篇将介绍构建一个很简单的ANN,只有1个输入层和1个输出层,没有隐藏层。下篇将介绍构建一个有1个输入层、1个隐藏层和1个输出层的ANN。

布加迪 ·  2020-03-25 09:00:00
华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

没有乘法的神经网络,你敢想象吗?无论是单个神经元的运算还是卷积运算,都不可避免地要使用乘法。

佚名 ·  2020-03-17 10:01:22
五分钟了解机器学习十大算法

本文为有志于成为数据科学家或对此感兴趣的读者们介绍最流行的机器学习算法。

Fahim ul Haq ·  2020-03-06 10:45:48
40纳秒完成图像分类,图像传感器自带神经网络登上Nature

AI芯片还可以怎么搞?最新登上Nature的研究带来新启发。试想一下,如果人类眼睛可以直接处理图像——不用劳烦大脑,那视觉图像信息的处理速度岂不是可以大大提升?

鱼羊 晓查 ·  2020-03-05 15:59:10
神经网络技术帮自主驾驶汽车识别幻影物体

以色列本古里安大学内盖夫网络安全研究中心的研究人员表示,在道路上投影图像形成幻影物体,可导致行驶中的半自主或全自主驾驶汽车误判并急刹车,从而危及车内驾驶员和乘客的生命。他们正在研究的神经网络技术,将解决自主驾驶汽车无法识别幻影物体的缺陷。

毛黎 ·  2020-02-07 13:33:13
二次元少女生成器、会开车的神经网络...2019年优秀的17个机器学习项目

为了挑选出2019年优秀的开源项目,最近某位Medium网友整理了2019年Reddit机器学习板块热门高赞项目资源汇总,一起来看看都有哪些项目上榜。

猿妹 ·  2019-12-25 14:29:35
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载