深度神经网络为何很难训练?

作者: 佚名 2017-12-22 08:47:41

假设你是一名工程师,接到一项从头开始设计计算机的任务。某天,你在工作室工作,设计逻辑电路,构建AND门,OR门等等时,老板带着坏消息进来:客户刚刚添加了一个奇特的设计需求:整个计算机的线路的深度必须只有两层:

你惊呆了,跟老板说道:“这货疯掉了吧!”

老板说:“我也认为他们疯了,但是客户的需求比天大,我们要满足它。”

实际上,在某种程度上看,他们的客户并没有太疯狂。假设你可以使用某种特殊的逻辑门,它让你对任意多的输入做AND运算。同样也能使用多输入的NAND门——可以对多个输入做AND运算并取负的门。有了这类特殊的门,构建出来的两层深度的电路可以计算任何函数。

但是仅仅因为某件事是理论上可能的,并不代表这是一个好的想法。在实践中,在解决线路设计问题(或者大多数的其他算法问题)时,我们通常考虑如何解决子问题,然后逐步地集成这些子问题的解。换句话说,我们通过多层的抽象来获得最终的解答。

例如,假设我们来设计一个逻辑线路来做两个数的乘法。我们希望在已经有了计算两个数加法的子线路基础上创建这个逻辑线路。计算两个数和的子线路也是构建在用于两个比特相加的子子线路上的。粗略地讲我们的线路看起来像这个样子:

最终的线路包含至少三层线路的基本部分。实际上,这个线路很可能会超过三层,因为我们可以将子任务分解成比上述更小的单元。但是基本思想就是这样。

因此深度线路让这样的设计过程变得更加简单。但是这对于设计本身帮助并不大。其实,数学证明对于某些函数设计的?常浅的线路可能需要指数级的线路单元来计算。例如,在1980 年代早期的一系列著名的论文已经给出了计算比特的集合的奇偶性通过浅的线路来计算需要指数级的门。另一当面,如果你使?更深的线路,那么可以使用规模很小的线路来计算奇偶性:仅仅需要计算比特的对的奇偶性,然后使用这些结果来计算比特对的对的奇偶性,以此类推,构建出总共的奇偶性。深度线路这样就能从本质上获得超过浅线路的更强的能力。

几乎我们遇到的所有的网络就只包括一层隐藏神经元(另外还有输入输出层):

这些简单的网络已经非常有用了:在前面的章节中,我们使用这样的网络可以进行准确率高达98% 的手写数字的识别!而且,凭直觉地看,我们期望拥有更多隐藏层的神经网络能够变的更加强大:

这样的网络可以使用中间层构建出多层的抽象,正如我们在布尔线路中做的那样。例如,如果我们在进行视觉模式识别,那么在***层的神经元可能学会识别边,在第二层的神经元可以在边的基础上学会识别出更加复杂的形状,例如三?形或者矩形。第三层将能够识别更加复杂的形状。以此类推。这些多层的抽象看起来能够赋予深度网络一种学习解决复杂模式识别问题的能力。然后,正如线路的示例中看到的那样,存在着理论上的研究结果告诉我们深度网络在本质上比浅层网络更加强大。

神经网络 AND 运算
上一篇:中国人工智能3大优势,5年后将会赶超日美两国! 下一篇:MySQL等传统关系型数据库弱爆了!GPU数据库才是未来趋势!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

CPU比GPU训练神经网络快十几倍,英特尔:别用矩阵运算了

神经网络训练通常是 GPU 大显身手的领域,然而莱斯大学和英特尔等机构对 GPU 的地位发起了挑战。

机器之心 ·  2021-04-09 15:45:08
Facebook创造了两个会交流的神经网络来描述颜色

尽管人类世界拥有数千种语言,但是使用词语来表示不同颜色的方式是非常一致的。

佚名 ·  2021-03-30 17:16:44
美媒:人工智能发展五大趋势引期待

人工智能创新继续快速发展,几乎所有行业都出现了爆炸式增长。那么,过去一年里我们收获了什么?我们可以对2021年的人工智能发展有何期待?人工智能发展已经出现了五大趋势。预计这些趋势将在2021年变得更加突出。

参考消息 ·  2021-03-22 13:00:38
新型 AI 可以 “潜入人类大脑”,洞察什么容貌最吸引你

北京时间 3 月 11 日消息,据国外媒体报道,目前,科学家最新开发一种新型 AI 人工智能系统,它可以 “潜入人类大脑”,洞察哪些类型的面孔容貌最吸引你。

叶倾城 ·  2021-03-11 09:46:45
高颜值神经网络可视化:3D彩色、可定制,还能可视化参数重要性

最近,一款神经网络可视化工具火了。这款工具叫做「nn_vis」,它采用了新的3D可视化技术,可以呈现这样的效果。

子豪 ·  2021-03-08 09:25:48
Pytorch教程:新手的快速指南

今天,我们将帮助了解Pytorch如此流行的是什么,使用Pytorch的一些基础,并帮助您制作第一个计算模型。

闻数起舞 ·  2021-03-07 09:05:45
整个宇宙可能是个巨大的神经网络?科学家们是这样解释的

整个宇宙就是个神经网络,所有人类则是其中的节点?一脸震惊!

佚名 ·  2021-03-04 20:25:20
模型压缩6倍,无需重训练:数学家团队提出量化新方法

RUDN 大学的数学家团队找到一种新方法,该方法能够让神经网络的大小减小到六分之一,且无需花费更多的资源重新训练。

小舟 ·  2021-02-20 16:07:27
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载