透彻理解深度学习背后的各种思想和思维

作者: AI火箭营 2019-02-13 19:00:01

深度神经网络在2012年兴起,当时深度学习模型能够在传统机器学习问题,例如图像分类和语音识别,击败***进的传统方法。这要归功于支撑深度学习的各种哲学思想和各种思维。

抓住主要矛盾,忽略次要矛盾--池化

神经网络中经过池化后,得到的是突出化的概括性特征。相比使用所有提取得到的特征,不仅具有低得多的维度,同时还可以防止过拟合。

比如max_pooling: 夜晚的地球俯瞰图,灯光耀眼的穿透性让人们只注意到最max的部分,产生亮光区域被放大的视觉错觉。故而 max_pooling 对较抽象一点的特征(如纹理)提取更好。

透彻理解深度学习背后的各种思想和思维

池化是一种降采样技术,减少参数数量,也可防止过拟合。如卷积核一样,在池化层中的每个神经元被连接到上面一层输出的神经元,只对应一小块感受野的区域。

透彻理解深度学习背后的各种思想和思维

池化体现了“抓住主要矛盾,忽略次要矛盾”哲学思想,在抽取特征的过程中,抓住图片特征中最关键的部分,放弃一些不重要、非决定性的小特征。

避免梯度消失--ReLU和批归一化

深度神经网络随着层数的增多,梯度消失是一个很棘手的问题。

ReLU主要好处是降低梯度弥散可能性和增加稀疏性。

透彻理解深度学习背后的各种思想和思维

线性整流函数ReLU(Rectified Linear Unit)的定义是h = max(0,a)其中a = Wx + b。

降低梯度消失可能性。特别是当a > 0时,此时梯度具有恒定值。作为对比,随着x的绝对值增加,sigmoid函数的梯度变得越来越小。ReLU的恒定梯度导致更快的学习。

透彻理解深度学习背后的各种思想和思维

增加稀疏性。当a≤ 0稀疏性出现。网络层中存在的这样单元越多,得到越多的表示稀疏性。另一方面,Sigmoid激活函数总是可能产生一些非零值,从而产生密集的表示。稀疏表示比密集表示更有益。

批归一化BN(Batch Normalization)很好地解决了梯度消失问题,这是由其减均值除方差保证的:

透彻理解深度学习背后的各种思想和思维

把每一层的输出均值和方差规范化,将输出从饱和区拉倒了非饱和区(导数),很好的解决了梯度消失问题。下图中对于第二层与***层的梯度变化,在没有使用BN时,sigmoid激活函数梯度消失5倍,使用BN时,梯度只消失33%;在使用BN时,relu激活函数梯度没有消失。

透彻理解深度学习背后的各种思想和思维

集成学习的思想--Dropout

Dropout是可以避免过拟合的一种正则化技术。

透彻理解深度学习背后的各种思想和思维

Dropout是一种正则化形式,它限制了网络在训练时对数据的适应性,以避免它在学习输入数据时变得"过于聪明",因此有助于避免过度拟合。

dropout本质上体现了集成学习思想。在集成学习中,我们采用了一些"较弱"的分类器,分别训练它们。由于每个分类器都经过单独训练,因此它学会了数据的不同"方面",并且它们的错误也不同。将它们组合起来有助于产生更强的分类器,不容易过度拟合。随机森林、GBDT是典型的集成算法。

一种集成算法是装袋(bagging),其中每个成员用输入数据的不同子集训练,因此仅学习了整个输入特征空间的子集。

dropout,可以看作是装袋的极端版本​​。在小批量的每个训练步骤中,dropout程序创建不同的网络(通过随机移除一些单元),其像往常一样使用反向传播进行训练。从概念上讲,整个过程类似于使用许多不同网络(每个步骤一个)的集合,每个网络用单个样本训练(即极端装袋)。

在测试时,使用整个网络(所有单位)但按比例缩小。在数学上,这近似于整体平均。

显然这是一种非常好应用于深度学习的集成思想。

深层提取复杂特征的思维

今天深度学习已经取得了非常多的成功。深度神经网络,由AlexNet的8层到GoogLeNet的22层,再到ResNet的152层,随着层数的增加,top5错误率越来越低,达到3.57%。

由于图像和文本包含复杂的层次关系,因此在特征提取器中找到表示这些关系的公式并不容易。深度学习系统具有多层表示能力,它能够让网络模拟所有这些复杂的关系。

所以在学习和应用深度学习时,不要惧怕网络层次之深,正是这种深层结构才提取了图像、文本、语音等原始数据的抽象的本质特征。

透彻理解深度学习背后的各种思想和思维

神经网络构建一个逐步抽象的特征层次结构。

每个后续层充当越来越复杂的特征的过滤器,这些特征结合了前一层的特征。

  • 每一层对其输入应用非线性变换,并在其输出中提供表示。
  • 每一层中的每个神经元都会将信息发送到下一层神经元,下一层神经元会学习更抽象的数据。

所以你上升得越高,你学到的抽象特征就越多。。目标是通过将数据传递到多个转换层,以分层方式学习数据的复杂和抽象表示。感官数据(例如图像中的像素)被馈送到***层。因此,每层的输出作为其下一层的输入提供。

深层次网络结构所具有的强大的抽象学习和表征能力

拿图像识别举例,在***层,是像素这些东西。当我们一层一层往上的时候,慢慢的可能有边缘,再往上可能有轮廓,甚至对象的部件,等等。总体上,当我们逐渐往上的时候,它确实是不断在对对象进行抽象。而由现象到本质的抽象过程中,是需要很多阶段、很多过程的,需要逐步去粗取精、逐步凸显,才能最终完成。

层数为什么要那么多?这其中体现了从整体到部分、从具体到抽象的认识论哲学思想。

抽取共同的、本质性的特征,舍弃非本质的特征。这过程本来就是一个逐渐抽象的过程,抽丝剥茧、层层萃取、逐渐清晰、统一汇总,层数少抽取出的特征是模糊的、无法表征的!

非线性思维

每一层进行非线性变换是深度学习算法的基本思想。数据在深层架构中经过的层越多,构造的非线性变换就越复杂。这些变换表示数据,因此深度学习可以被视为表示学习算法的特例,其在深层体系结构中学习具有多个表示级别的数据表示。所实现的最终表示是输入数据的高度非线性函数。

深层体系结构层中的非线性变换,试图提取数据中潜在的解释因素。不能像PCA那样使用线性变换作为深层结构层中的变换算法,因为线性变换的组合产生另一种线性变换。因此,拥有深层架构是没有意义的。

例如,通过向深度学习算法提供一些人脸图像,在***层,它可以学习不同方向的边缘; 在第二层中,它组成这些边缘以学习更复杂的特征,如嘴唇,鼻子和眼睛等脸部的不同部分。在第三层中,它组成了这些特征,以学习更复杂的特征,如不同人的面部形状。这些最终表示可以用作面部识别应用中的特征。

提供该示例是为了简单地以可理解的方式解释深度学习算法如何通过组合在分层体系结构中获取的表示来找到更抽象和复杂的数据表示。

省去特征工程的思维

传统机器学习中,特征工程作为机器学习技能的一部分。在这种情况下,需要以可以理解的形式将数据转换并输入到算法中。然而,在训练和测试模型之前,并不知道这些特征的用处,数据挖掘人员往往会陷入开发新特征、重建模型、测量结果的繁杂循环中,直到对结果满意为止。这是一项非常耗时的任务,需要花费大量时间。

透彻理解深度学习背后的各种思想和思维

穿着黑色衬衫的男人正在弹吉他

这个图像的下边的标题是由神经网络生成的,它与我们想象这个图片的方式非常相似。对于涉及此类复杂解释的案例,必须使用深度学习。这背后的主要原因是超参数。标题图像所需的超参数的数量将非常高,并且在SVM的情况下手动选择这些超参数几乎是不可能的。但是深度神经网络可以通过训练集和学习来自主地进行。

透彻理解深度学习背后的各种思想和思维
深度学习 机器学习 人工神经
上一篇:形象理解深度学习中八大类型卷积 下一篇:人脸识别技术总结:从传统方法到深度学习
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习变革物流运输和交通出行

云和机器学习的融合催生了自动驾驶技术尤其是人们出行方式的广泛创新,正在改变整个行业的游戏规则。根据普华永道(PWC)的数据,68%的物流运输企业负责人认为,未来5年,提供物流运输服务的核心技术的改变将颠覆整个行业。

AWS大中华区云服务产品管理总经理顾凡 ·  2天前
12个场景应用,百余种算法,AI是如何攻占经济学的?

在虚拟世界中模拟现实经济状况,想法设计更好的制度只是AI和经济学结合方式之一。其实深度强化学习在面临风险参数和不确定性不断增加的现实经济问题时,也可以提供更好的性能和更高的精度。

蒋宝尚 ·  3天前
轻松构建 PyTorch 生成对抗网络(GAN)

生成对抗网络(GAN)是一种生成式机器学习模型,它被广泛应用于广告、游戏、娱乐、媒体、制药等行业,可以用来创造虚构的人物、场景,模拟人脸老化,图像风格变换,以及产生化学分子式等等。

佚名 ·  3天前
新AI让教师能够快速开发智能辅导系统

通过使用一种采用人工智能的新方法,教师可以通过演示解决某个主题中的问题的几种方法来教计算机……

佚名 ·  4天前
终结重复工作!教你30分钟创建自己的深度学习机器

建立一个深度学习环境是一件很重要的事情。本文讲述使用深度学习 CommunityAMI、TMUX和 Tunneling在EC2为Jupyter Notebooks创建一个新的深度学习服务器。

读芯术 ·  4天前
如何用机器学习模型,为十几亿数据预测性别

基于用户画像进行广告投放,是优化投放效果、实现精准营销的基础;而人口属性中的性别、年龄等标签,又是用户画像中的基础信息。那该如何尽量准确的为数据打上这些标签?

TalkingData ·  2020-05-26 18:50:49
教你轻松选择合适的机器学习算法!

机器学习方面没有免费午餐。因此,确定使用哪种算法取决于许多因素:面临的问题类型和预期的输出类型等。本文介绍了为数据集探究合适的机器学习方法时要考虑的几个因素。

布加迪 ·  2020-05-26 18:35:00
画图太丑拿不出手?有人做了套机器学习专用画图模板,还有暗黑模式

论文、博客写好了,里面的图可怎么画?对于很多研究人员和开发者来说,内容的「可视化」是一个大问题。如果从头开始画,配色、空间布局都很伤脑筋,而且画丑了也拿不出手,要是有模板可以套就好了。

张倩、魔王 ·  2020-05-26 14:28:12
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载