可视化解释11种基本神经网络架构

作者: 闻数起舞 2020-07-01 09:08:55

标准,循环,卷积和自动编码器网络

随着深度学习的飞速发展,已经创建了完整的神经网络体系结构主机,以解决各种各样的任务和问题。 尽管有无数的神经网络架构,但对于任何深度学习工程师来说,这里有11种必不可少的知识,它们分为四大类:标准网络,递归网络,卷积网络和自动编码器。

作者创建的所有图。

标准网络

1 | 感知器

感知器是所有神经网络中最基础的,是更复杂的神经网络的基本构建块。 它仅连接输入单元和输出单元。

可视化解释11种基本神经网络架构

2 | 前馈网络

前馈网络是感知器的集合,其中存在三种基本类型的层-输入层,隐藏层和输出层。 在每个连接期间,来自上一层的信号乘以权重,加到偏置上,并通过激活函数。 前馈网络使用反向传播来迭代更新参数,直到达到理想的性能为止。

可视化解释11种基本神经网络架构

3 | 残留网络(ResNet)

深度前馈神经网络的一个问题称为消失梯度问题,即当网络太长而无法在整个网络中反向传播有用信息时。 随着更新参数的信号通过网络传播,它逐渐减小,直到网络前端的权重完全没有改变或被利用为止。

为了解决这个问题,残差网络采用了跳过连接,可以跨"跳跃的"层传播信号。 通过使用不太容易受到影响的连接,可以减少消失的梯度问题。 随着时间的流逝,网络在学习特征空间时会学习恢复跳过的图层,但由于其不易受到梯度消失的影响并且需要探索较少的特征空间,因此训练效率更高。

可视化解释11种基本神经网络架构

循环网络

4 | 递归神经网络(RNN)

递归神经网络是一种特殊类型的网络,它包含循环并在其自身上递归,因此称为"递归"。 RNN允许将信息存储在网络中,使用先前训练中的推理来做出有关即将发生的事件的更好,更明智的决策。 为此,它将先前的预测用作"上下文信号"。 由于其性质,RNN通常用于处理顺序任务,例如逐个字母生成文本或预测时间序列数据(例如股票价格)。 他们还可以处理任何大小的输入。

可视化解释11种基本神经网络架构
> Two RNN visualization methods.

5 | 长期短期记忆网络(LSTM)

RNN存在问题,因为实际上上下文信息的范围非常有限。 给定输入对隐藏层(因此对网络输出)的影响(反向传播错误),要么呈指数级爆发,要么随着绕网络连接循环而消失为零。 解决这个逐渐消失的梯度问题的方法是使用长短期内存网络或LSTM。

这种RNN架构是专门为解决消失的梯度问题而设计的,将结构与存储块配合在一起。 这些模块可以看作是计算机中的存储芯片-每个模块都包含几个循环连接的存储单元和三个门(输入,输出和忘记,相当于写入,读取和重置)。 网络只能通过每个门与单元交互,因此门学会了智能地打开和关闭,以防止梯度爆炸或消失,而且还可以通过"恒定错误轮播"传播有用的信息,并丢弃无关的存储内容。

可视化解释11种基本神经网络架构

在标准RNN无法得知输入事件与目标信号之间存在大于五到十个时间步长的时滞的情况下,LSTM不会受到影响,并且可以通过强制执行有用的恒定错误流来学习将时滞甚至连成1,000个时步。

6 | 回声状态网(ESN)

回声状态网络是递归神经网络的一种变体,具有非常稀疏的隐藏层(通常为百分之一的连接性)。 神经元的连通性和权重是随机分配的,并且忽略层和神经元的差异(跳过连接)。 学习输出神经元的权重,以便网络可以产生和再现特定的时间模式。 该网络背后的理由来自这样一个事实:尽管它是非线性的,但训练过程中唯一修改的权重是突触连接,因此可以将误差函数区分为线性系统。

可视化解释11种基本神经网络架构

卷积网络

7 | 卷积神经网络(CNN)

图像具有很高的维数,因此训练一个标准的前馈网络来识别图像将需要成千上万的输入神经元,除了公然高昂的计算费用外,还可能引起许多与神经网络的维数诅咒相关的问题 。 卷积神经网络(CNN)通过使用卷积层和池化层来帮助降低图像的维数,从而提供了解决方案。 由于卷积层是可训练的,但是比标准隐藏层具有更少的参数,因此它能够突出显示图像的重要部分并将它们向前传递。 传统上,在CNN中,最后几层是隐藏层,用于处理"压缩图像信息"。

可视化解释11种基本神经网络架构

卷积神经网络在基于图像的任务上表现出色,例如将图像分类为狗或猫。

8 | 反卷积神经网络(DNN)

顾名思义,反卷积神经网络的作用与卷积神经网络相反。 DNN不是执行卷积来减小图像的维数,而是利用反卷积来创建图像,通常是根据噪声来进行的。 这是一项固有的艰巨任务。 考虑CNN的任务是为奥威尔(Orwell)1984年的整本书写一个三句摘要,而DNN的任务是从三句结构写整个本书。

可视化解释11种基本神经网络架构

9 | 生成对抗网络(GAN)

生成对抗网络是一种专门设计用于生成图像的特殊类型的网络,它由两个网络(一个鉴别器和一个生成器)组成。 区分者的任务是区分是从数据集中提取图像还是由生成器生成图像,而生成者的任务是生成足够有说服力的图像,以使区分器无法区分其是否真实。

随着时间的流逝,经过精心的监管,这两个对手彼此竞争,互相推动,成功地改善了彼此。 最终结果是训练有素的生成器,可以吐出逼真的图像。 鉴别器是一个卷积神经网络,其目的是最大程度地提高识别真实/伪造图像的准确性,而生成器是一个反卷积神经网络,其目的是最小化鉴别器的性能。

可视化解释11种基本神经网络架构
> Generator diagram.

自动编码器

10 | 自动编码器(AE)

自动编码器的基本思想是获取原始的高维数据,将其"压缩"为高度信息化的低维数据,然后将压缩后的形式投影到新的空间中。 自动编码器有许多应用,包括降维,图像压缩,去噪数据,特征提取,图像生成和推荐系统。 它既可以作为无监督方法也可以作为有监督方法,可以非常洞悉数据的性质。

可视化解释11种基本神经网络架构

隐藏的单元可以用卷积层替换以适应处理图像。

11 | 可变自动编码器(VAE)

自动编码器学习输入的压缩表示形式,例如可以是图像或文本序列,方法是压缩输入然后将其解压缩以匹配原始输入,而变分自动编码器(VAE)学习概率分布的参数 代表数据。 它不仅仅是学习表示数据的函数,还获得了更详细,细致的数据视图,从分布中采样并生成新的输入数据样本。 从这个意义上讲,它更像是一种纯粹的"生成"模型,例如GAN。

可视化解释11种基本神经网络架构

VAE使用概率隐藏单元格,该单元格将径向基函数应用于测试用例与单元格均值之间的差异。

神经网络 深度学习 网络
上一篇:如何在Python中创建线性回归机器学习模型?「入门篇」 下一篇:人工智能行业发生了翻天覆地的变化 AI科学家如何成为MVP
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

图同构下等变,计算高效,韦灵思团队提出"自然图网络"消息传递方法

近日,韦灵思团队的一项研究通过研究图的局部对称性,提出了一种新的算法。该算法在不同的边上使用不同的核,从而使网络在局部与全局的图同构体上是等变的,也更易于表达。

Pim de Haan、Taco Cohen、Max Welling ·  2天前
令人着迷的无梯度神经网络优化方法

梯度下降是机器学习中最重要的思想之一:给定一些代价函数以使其最小化,该算法迭代地采取最大下降斜率的步骤,理论上在经过足够的迭代次数后才达到最小值。柯西(Cauchy)于1847年首次发现,在1944年针对非线性优化问题在Haskell Curry上得到扩展,梯度下降已用于从线性回归到深度神经网络的各种算法。

AI火箭营 ·  3天前
在理解通用逼近定理之前,你都不会理解神经网络

从字面上看,通用近似定理是神经网络起作用的理论基础。然而,最重要的是,该定理令人惊讶地解释了为什么神经网络似乎表现得如此聪明。 理解它是发展对神经网络的深刻理解的关键一步。

闻数起舞 ·  3天前
Nature:麻省理工人造「巨型原子」问世,量子处理和量子通信合二为一

一直以来,量子计算机都是一个神秘且「高大上」的存在。中国科学院院士潘建伟曾这样打比方说:如果传统计算机的速度是「自行车」,那么量子计算机的速度就是「飞机」。

佚名 ·  2020-07-30 13:15:30
73岁Hinton老爷子构思下一代神经网络:属于无监督对比学习

在近期举行的第 43 届国际信息检索年会 (ACM SIGIR2020) 上,Geoffrey Hinton 做了主题为《The Next Generation of Neural Networks》的报告。

魔王、杜伟 ·  2020-07-29 15:15:19
预训练后性能反而变差,自训练要取代预训练了吗?

近期,谷歌大脑的研究团队对这个概念进行了扩展,在新论文《Rethinking Pre-training and Self-training》中,不仅讨论了预训练,还研究了自训练,比较了在同一组任务当中自训练与监督预训练、自监督预训练之间的差异。

JocelynWang ·  2020-07-29 12:16:12
神经网络提取PDF表格工具来了,支持图片,还能白嫖谷歌GPU资源

百度一下,网上有大量提取PDF表格的工具,但是,它们都只支持文本格式PDF。一种使用深度神经网络识别提取表格的开源工具可以帮助你。

贾浩楠 ·  2020-07-28 15:15:57
神经网络+量子计算机?华人学者开源首个量子计算协同设计框架

近日,由圣母大学姜炜文博士后,史弋宇教授和 IBM 研究院 Jinjun Xiong 博士开展的研究,实现了首个机器学习和量子计算协同设计框架,QuantumFlow,为神经网络在量子计算机上的实现铺平了道路。

佚名 ·  2020-07-24 13:30:59
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载