CNN与RNN比较与组合

作者: AI火箭营 2018-11-01 09:14:42

CNN和RNN几乎占据着深度学习的半壁江山,所以本文将着重讲解CNN+RNN的对比,以及各种组合方式。

一、CNN与RNN对比

1. CNN卷积神经网络与RNN递归神经网络直观图

2. 相同点:

  • 传统神经网络的扩展。
  • 前向计算产生结果,反向计算模型更新。
  • 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3. 不同点

  • CNN空间扩展,神经元与特征卷积;RNN时间扩展,神经元与多个时间输出计算
  • RNN可以用于描述时间上连续状态的输出,有记忆功能,CNN用于静态输出
  •  CNN高级100+深度,RNN深度有限

二、CNN+RNN组合方式

1. CNN 特征提取,用于RNN语句生成图片标注。

CNN+RNN

2. RNN特征提取用于CNN内容分类视频分类。

CNN+RNN

3. CNN特征提取用于对话问答图片问答。

三、具体应用

1. 图片标注

基本思路:

  • 目标是产生标注的语句,是一个语句生成的任务,LSTM?
  • 描述的对象大量图像信息,图像信息表达,CNN?

CNN网络中全连接层特征描述图片,特征与LSTM输入结合。

具体步骤:

(1) 模型设计-特征提取

全连接层特征用来描述原图片

LSTM输入:word+图片特征;输出下一word。

(2) 模型设计-数据准备

  • 图片CNN特征提取
  • 图片标注生成Word2Vect 向量
  • 生成训练数据:图片特征+第n单词向量:第n+1单词向量。

(3) 模型训练:

  • 运用迁移学习,CNN特征,语句特征应用已有模型
  • 最终的输出模型是LSTM,训练过程的参数设定:梯度上限(gradient clipping), 学习率调整(adaptivelearning)
  • 训练时间很长。

(4) 模型运行:

  • CNN特征提取
  • CNN 特征+语句开头,单词逐个预测

2. 视频行为识别 :

视频中在发 生什么?

常用方法总结:

(1) RNN用于CNN特征融合:

  • CNN 特征提取
  • LSTM判断
  • 多次识别结果分析。

不同的特征不同输出。

或者:所有特征作为一个输出。

(2) RNN用于CNN特征筛选+融合:

  • 并不是所有的视频 图像包含确定分类信息
  • RNN用于确定哪些frame 是有用的
  • 对有用的图像特征 融合。

(3) RNN用于目标检测:

  • CNN直接产生目标候选区
  • LSTM对产生候选区融合(相邻时刻位置近 似)
  • 确定最终的精确位置。

(4) 多种模型综合:应用中,为了产生***结果,多采用多模型ensemble形式。

CNN RNN 神经网络
上一篇:“先天不足”的谷歌无人驾驶,商业化难逃“夭折”宿命? 下一篇:百度世界交出AI应用成绩单 落地国民经济三大产业
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
像堆乐高一样:从零开始解释神经网络的数学过程

模型的训练、调参是一项非常费时费力的工作,了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始,一步一步讲解了训练神经网络时所用到的数学过程。

机器之心 ·  2019-07-12 07:26:26
60年技术简史,带你读懂AI的前世今生

关于人工智能有很多的定义,它本身就是很多学科的交叉融合,不同的人关注它的不同方面,因此很难给出一个大家都认可的一个定义。我们下面通过时间的脉络来了解AI的反正过程。

佚名 ·  2019-07-08 13:40:22
什么?神经网络还能创造新知识?

本文通过神经网络透明原则来揭示其“黑盒知识”,为此来检验一个布尔异或函数的神经网络。

读芯术 ·  2019-07-02 13:37:23
掌握这十大机器学习方法,你就是圈子里最靓的崽

为揭开机器学习的神秘面纱,帮助新手学习该领域的核心概念,本文会介绍十种不同的机器学习方法,包括简单描述和可视化等,并一一举例说明。

读芯术 ·  2019-06-14 13:46:01
不懂卷积神经网络?别怕,看完这几张萌图你就明白了!

这篇文章用最简明易懂的方式解释了卷积神经网络(CNN)的基本原理,并绕开了里面的数学理论。

佚名 ·  2019-05-17 15:48:16
Python数据科学:神经网络

本次只是一个简单的神经网络入门,涉及神经元模型和BP神经网络。这里简单了解一下机器学习的三要素,分别是模型、策略与算法。

小F ·  2019-05-07 19:12:28
帝国理工:如何用 AI 解决 80% 专科医生担忧的心律装置移植手术难题

伦敦帝国理工学院的研究人员开发了一种基于AI的软件,目前,这款软件被称为PPMnn(起搏器神经网络), 用于识别起搏器或者除颤器的制造商和型号。该研究结果发表在美国心脏病学会(JACC):临床电生理学杂志上。这篇论文介绍了基于神经网络的系统的开发、验证和有效性。

李雨晨 ·  2019-04-29 12:53:15
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载