神经网络:高深莫测又妙趣横生的完整历史!

作者: 读芯术 2020-10-19 07:13:33

在翻阅各种资料之后,我对神经网络的历史深深入迷了。这是个非常有趣的研究主题,我从中获得了不少快乐。自上个世纪以来,神经网络和人工智能一直是热门话题。在流行文化电影中,人工智能机器人风靡全球,吸引着大量猎奇之士。

神经网络的灵感来源于生物神经元是一种受编程范式启发的模型,它使深度学习模型能够在复杂的观测数据集上有效地学习和训练。神经网络在过去一个世纪中经历了不同的阶段,一开始被视为拥有广大解决复杂计算问题的工具,逐渐被嘲笑为仅仅是一个理论思想,最后因是更理想未来的缔造者而闻名。

让我们按时间顺序重温神经网络历史上的每个阶段。

想法的萌生

生物学家、神经学家和研究人员从上个世纪就开始研究神经元的功能。1890年,美国哲学家威廉·詹姆斯(William James)提出了一个有见地的理论,反映了许多研究者随后工作的思想。

这个假设认为大脑皮层任何一个给定点的活动都是释放到大脑皮层中的整体运动趋势的总和。简单来说,就是一个神经元的兴奋会刺激其他每一个神经元,直到信号成功到达目标。

1943年,麦卡洛克(McCulloch)和皮茨(Pitts)为单个神经元建立了第一个数学模型。所建立的神经元模型全面而深远。这个模型经过修改,甚至在现代也得到了广泛的应用。

这给神经网络的研究人员和实践者带来了思想上的巨大转变。一个类似人脑的神经元模型的数学功能让大多数生物学家大吃一惊,支持人工智能的风潮和对人工智能占领世界的担忧从这一刻开始。

黄金时代

从1949年到1969年,在接下来的20年里,我们进行了大量的实验。现有的方法学有了大量的发展和扩展,可以说这一时期是神经网络的黄金时代。

这个时代一开始就轰动一时,这要归功于唐纳德·赫布在其名为《行为的组织》的书中所介绍的赫比理论。赫比理论指出,通过一个特定的突触,一个又一个神经元的重复激活,电导会增加。

在这一阶段有几个突出的主题,如学习过滤器,梯度下降,神经动力学的发展以及大规模脑活动的触发和传播。在同步激活多个神经元以代表每一位信息方面有着广泛的研究。基于香农(Shannon)信息熵原理的信息论成为该领域的一个重要研究领域。

最重要的发明是罗森布拉特(Rosenblatt)在1958年发明的感知器模型。罗森布拉特提出的反向传播方法对多层网络的训练非常有用。由于广泛的研究和不断的发展,这个时代毫无疑问就是神经网络的黄金时代。泰勒(Taylor)构造了一个winner-take-all电路,输出单元之间有抑制,感知器模型中的其他过程也完成了。

飞跃时期

20世纪70年代至90年代间的研究和调查的课题很多,但遗憾的是,这些研究成果都无济于事。有研究将许多神经元组合起来形成神经网络,使其比单个神经元更强大,并进行复杂的计算。

由于梯度下降法不能成功地获得复杂任务的期望解,发展其他数学随机、概率或随机方法的发展。在这段时间内,进一步的理论结果和分析得以确立。

玻尔兹曼机器和混合系统也成功地完成了复杂计算问题。玻尔兹曼机器成功地解决了数学问题。由于硬件和软件的限制,无法实现各种缺陷的解决方案。尽管如此,在这一时期,进行了大量成功的研究,对现有研究进行了更新和改进。

然而,尽管取得了这些进展,但对神经网络的发展来说并没有什么重大突破,也没有什么成果。对人工神经网络迅速增长的需求已不复存在。其中一个重要的原因是证实了简单的感知器的局限性。

明斯基(Minsky)和帕普特(Papert)在1969年进行了该演示,并展示了简单感知器的缺陷。从理论上证明了简单感知器模型在计算上不具有普遍性。这一刻永生难忘,它标志着神经网络的滑铁卢。神经网络领域的研究经费大幅减少,这一运动引发了神经网络的衰落。

神经网络的失败和瓦解

一时之间,所有与神经网络相关的炒作都消失了。人工神经网络和深度学习被嘲笑成了一个理论概念,造成这种情况的主要原因是缺乏数据和先进技术。

当时,对于图像分割、图像分类、人脸识别、基于自然语言处理的聊天机器人等复杂任务的计算资源不足,可用数据相当有限,对于复杂的神经网络结构,没有足够的数据提供所需的结果。就算有所需的数据,用当时可用的资源计算出这一数量的数据仍然是一项非常艰巨的任务。

有一些积极的迹象,比如强化学习的成功和其他小的积极因素,但这还不足以重建它曾经拥有的大规模宣传。研究人员和科学家们的非凡远见让人工神经网络得以继续发展。然而,要想重获失去的威望和宣传度,还需要20年的时间。

神经网络的复苏和绝对统治

在接下来的20年里,深度学习的状况和普及率都不容乐观。在这个时代,支持向量机(SVM)和其他类似的机器学习算法更占主导地位,并被用于解决复杂的任务。

机器学习算法在大多数数据集上表现良好,但是对于较大的数据集,机器学习算法的性能没有显著提高。达到一定阈值后,机器学习算法的性能停滞。随着数据的增加,能够不断学习和改进的模型变得非常重要。

2012年,George E.Dahl领导的团队利用多任务深度神经网络预测一种药物的生物分子靶点,赢得了“默克分子活性挑战赛”的冠军。2014年,Hochreiter的团队利用深度学习技术检测营养素、家用产品和药物中环境化学物质的非目标和毒性效应,并赢得了美国国家卫生研究院、美国食品和药物管理局(FDA)和NCAT的“Tox21数据挑战赛”。

此时此刻,神经网络被认为是一个革命性的变革。如今,深度学习和神经网络是所有高水平比赛的显著特征。卷积神经网络、长短时记忆(LSTM)和生成对抗网络非常流行。特别是深度学习的强化程度每天都在迅速增加,并且有了巨大的进步。

神经网络的旅程值得被永恒铭记。神经网络和深度学习从一个奇妙的前景,发展到现在几乎成为解决任何复杂问题的最佳方法之一。我很高兴身处于这个时代,能够为这一变化做出贡献。

本文转载自微信公众号「读芯术」,可以通过以下二维码关注。转载本文请联系读芯术公众号。

神经 网络 神经元
上一篇:AI看图说话首超人类!微软认知AI团队提出视觉词表预训练超越Transformer 下一篇:AI机器人大规模上岗之后,我们会不会变得更好
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

我是一个平平无奇的AI神经元

我是一个AI神经元,刚刚来到这个世界上,一切对我来说都特别新奇。之所以叫这个名字,是因为我的工作有点像人类身体中的神经元。

轩辕之风O ·  2020-10-13 09:33:28
自动驾驶正在驶向“封闭”

技术落地的荆棘路途,必须遵循某种客观规律,它不以任何利益攸关者的众口铄金为转移。比如自动驾驶行业,大概5年前,从业者普遍预言,2020年有望成为自动驾驶的爆发拐点,但直至今天,大多数人离自动驾驶还很远。

李北辰 ·  2020-09-28 14:00:06
Nature:麻省理工人造「巨型原子」问世,量子处理和量子通信合二为一

一直以来,量子计算机都是一个神秘且「高大上」的存在。中国科学院院士潘建伟曾这样打比方说:如果传统计算机的速度是「自行车」,那么量子计算机的速度就是「飞机」。

佚名 ·  2020-07-30 13:15:30
神经网络+量子计算机?华人学者开源首个量子计算协同设计框架

近日,由圣母大学姜炜文博士后,史弋宇教授和 IBM 研究院 Jinjun Xiong 博士开展的研究,实现了首个机器学习和量子计算协同设计框架,QuantumFlow,为神经网络在量子计算机上的实现铺平了道路。

佚名 ·  2020-07-24 13:30:59
人工智能中常见的误区

在一个大数据、自动化和神经网络已经成为日常用语的世界里,对人工智能及其背后过程的误解正在像野火一样蔓延。

Cassie ·  2020-07-10 17:40:01
可视化解释11种基本神经网络架构

随着深度学习的飞速发展,已经创建了完整的神经网络体系结构主机,以解决各种各样的任务和问题。 尽管有无数的神经网络架构,但对于任何深度学习工程师来说,这里有11种必不可少的知识,它们分为四大类:标准网络,递归网络,卷积网络和自动编码器。

闻数起舞 ·  2020-07-01 09:08:55
AI+实时监控技术提升公共服务的十种方式

石油与天然气价格的波动、更高的运营费用、愈发严重的网络/物理威胁,迫使公共事业部门不得不在安全策略方面大踏步迈进。另外,COVID-19疫情也给公共事业部门带来巨大挑战,在导致行业前景的不确定性之外,还迫使从业者们思考该如何快速变化。

科技行者 ·  2020-06-18 09:22:13
避不开的算法,如何吃透?

当你使用搜索引擎(例如Google Chrome、Mozilla Firefox等)的时候,后台发生了什么?当你询问虚拟助手(例如Alexa、Google助手或Siri)的时候,后台发生了什么?它们怎么会知道答案?为何它们会显示正确答案?所有这些都要感谢算法。

佚名 ·  2020-06-16 14:23:28
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载