深度学习的工作原理:窥视驱动今日AI的神经网络的内部

编译作者: 布加迪 2021-10-15 08:00:00

【51CTO.com快译】今天人工智能的繁荣离不开一种名为深度学习的技术,该技术基于人工神经网络。本文通过图形解释了如何构建和训练这些神经网络。

图1. 架构图

人工神经网络中的每个神经元对输入求和,并运用激活函数以确定输出。这种架构的灵感来自大脑中的机理,其中​​神经元通过突触彼此之间传输信号。

图2

这是一个假设的前馈深度神经网络的结构(之所以是“深度”,是由于它有多个隐藏层)。该例子展示的一个网络解释了手写数字的图像,并将它们分类为10个可能数字中的一个。

输入层含有许多神经元,每个神经元都有一个激活(activation),被设置为图像中一个像素的灰度值。这些输入神经元连接到下一层的神经元,在它们乘以某个值(称为权重)后传递其激活级别。第二层中的每个神经元对许多输入求和,并运用激活函数以确定输出,该输出以相同的方式前馈。

训练

这种神经网络通过计算实际输出和预期输出之间的差异来加以训练。这里的数学优化问题中的维度与网络中的可调参数一样多——主要是神经元之间连接的权重,可以是正[蓝线] 或负[红线]。

训练网络本质上是找到这种多维“损失”或“成本”函数的最小值。它在多轮训练中迭代完成,逐渐改变网络的状态。实际上,这需要根据为一组随机输入示例计算的输出对网络的权重进行多次小的调整,每次都从控制输出层的权重开始,然后通过网络向后移动。(为简单起见,这里只显示了与每一层中单个神经元相关的连接。)这个反向传播过程针对许多随机的训练样本集重复进行,直到损失函数最小化,然后网络提供它为任何新输入所能提供的最佳结果。

图3

图4

第1步:在输入端显示手写的“3”时,未经训练的网络的输出神经元会有随机激活。希望与3相关的输出神经元有高激活[深色阴影],而其他输出神经元有低激活[浅色阴影]。因此,比如说,必须加大与3相关的神经元的激活[紫色箭头]。

图5

第2步:为此,从第二个隐藏层中的神经元到数字“3”的输出神经元的连接权重应该会变得更正[黑色箭头],变化的大小与所连接的隐藏神经元的激活成正比。

图6

第 3 步:然后对第二个隐藏层中的神经元执行类似的过程。比如说,为了使网络更准确,该层中的顶部神经元可能需要降低激活[绿色箭头]。通过调整其与第一个隐藏层[黑色箭头]的连接权重,可以将网络往该方向推进。

图7

第4步:然后对第一个隐藏层重复该过程。比如说,该层中的第一个神经元可能需要加大激活 [橙色箭头]。

原文标题:How Deep Learning Works Inside the neural networks that power today's AI,作者:SAMUEL K. MOORE DAVID SCHNEIDER ELIZA STRICKLAND

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

人工智能 深度学习 技术
上一篇:在智能建筑中充分利用人工智能 下一篇:Facebook正在研究新型AI系统 以第一人称分析人们的生活
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI版「女娲」来了!文字生成图像、视频,8类任务一个模型搞定

近来,视觉合成任务备受关注。几天前英伟达的 GauGAN 刚刚上新了 2.0 版本,现在一个新视觉合成模型 Nüwa(女娲)也火了。

机器之心报道 ·  1天前
何恺明MAE大火后,想梳理下视觉Transformer?这篇梳理了100多个

在这篇论文中,Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务(分类、检测和分割)的 100 多个视觉 Transfomer。

机器之心报道 ·  1天前
抛弃热图回归,滑铁卢大学提出多人姿态估计新方法

近日,来自加拿大滑铁卢大学的研究者提出了一种全新的单阶段多人关键点和姿态检测方法 KAPAO。

机器之心编辑部 ·  1天前
2022年人工智能领域发展七大趋势

人工智能已成为人类有史以来最具革命性的技术之一。“人工智能是我们作为人类正在研究的最重要的技术之一。它对人类文明的影响将比火或电更深刻”。2020年1月,谷歌公司首席执行官桑达尔·皮查伊在瑞士达沃斯世界经济论坛上接受采访时如是说。

刘霞 ·  1天前
三分钟回顾,2021年11月无人机领域动态一览

今年11月,无人机行业便出现不少融资、推新等活动,接下来我们不妨一起来看一下吧!

智能制造网 ·  1天前
华为首次自曝“天才少年”成果:入职不到一年就干成这件大事

2019年入职、拿到200万offer的钟钊,仅用不到1年的时间,就带领团队将AutoML算法研究应用到了千万台华为Mate系列和P系列手机上。

梦晨 丰色 萧箫 ·  1天前
三分钟回顾,2021年11月自动驾驶行业全动态一览

缺芯荒加疫情影响,今年以来自动驾驶行业发展被迫放缓,在此背景下,我们不妨不妨从融资、动态两方面,一起来看看复苏后的自动驾驶是如何极速狂飙的吧!

智能制造网 ·  1天前
2021大盘点,这十家AI初创公司有点“料”!

今年的AI初创公司榜单中,涵盖了用于构建AI语音助手的无代码网络平台,用于组织提升和员工技能再培训的AI人才智能平台,以及AI驱动的地理空间分析平台等等。

至顶网 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载