图灵71年前就已提出神经网络!《智能机器》再掀热议

作者: 小芹、张佳 2019-06-29 17:23:46

 

早在 1948 年,图灵就写了一篇题为《智能机器》的论文,描绘了现在成为人工智能核心的许多概念,包括遗传算法、神经网络、强化学习等。在没有电子计算机的年代,图灵用纸和铅笔做出了这项开创性的研究,在今天引发热议。

很少人知道,早在 1948 年,艾伦 · 图灵就写了一篇题为《智能机器》(Intelligent Machinery) 的论文,描绘了人工智能中联结主义的大部分内容。

这篇论文是图灵在伦敦国家物理实验室工作时写的,但没有得到他的老板的认可。当时的实验室主任查尔斯 · 达尔文爵士称这是一篇 “学生论文”,并写信给图灵,抱怨论文“满是脏痕” 外观。

事实上,这篇具有远见卓识的论文是关于人工智能的***个宣言,但遗憾的是图灵从未发表它。

在这篇论文中,图灵不仅阐述了联结主义的基本原理,而且出色地引入了许多后来成为人工智能核心的概念,包括具有学习能力的遗传算法和神经网络(他称之为 “ 无组织机器 ”)、甚至强化学习的思想。当然,这些概念是在其他人重新发明之后才成为核心的。

图灵在论文摘要中写道:

这篇文章讨论了使机器显示出智能行为的可能方法。指导原则是与人脑的类比。本文指出只有提供适当的教育,机器才能实现人的智慧潜能。研究主要围绕一个应用于机器的类似教学过程展开。定义了无组织机器 (unorganized machine) 的概念,并提出婴儿期的人脑皮层具有这种性质。本文给出了这类机器的简单例子,并讨论了它们的奖惩教育。在一种情况下,教育过程一直进行到它的组织性与 ACE 类似为止。

(注:ACE 是指 Automatic Computing Engine, 图灵设计的一种早期的电子计算机。)


艾伦·图灵

图灵说:我提议研究这样一个问题:机器是否有可能表现出智能行为。人们通常想当然地认为这是不可能的。常见的说法如像机器一样做事”、“纯粹的机械行为” 等揭示了这种常见的态度。

图灵 1948 年论文引热议:一个对深入了解大脑痴迷的家伙

这篇论文在 Reddit 上引发了热烈讨论。

有人评论:像这样的论文今天几乎会被所有 “***” 人工智能会议和期刊拒绝,但我不得不说,我很欣赏它的简洁性和直接性(和诚实)。这在图灵的那个时代是很受重视的。那时编辑想到的***件事不是:“这篇会得到多少引用?”

有人评论:从长远来看,我认为跨学科是一种方法,但考虑到可用的计算和数据量以及仍未触及的领域或问题,你可以通过试验和使用蛮力获得一些结果。对于有哲学背景的人来说,这是一篇非常好的读物。

也有人 一语中的:这个家伙(图灵)实际上是对深入了解大脑过程痴迷

谷歌大脑研究科学家 Divid Ha 推荐了这篇论文:图灵在 1948 年提出利用进化来 “训练” 一种特殊类型的神经网络,他称之为 “B 型无组织机器”。他发展了二进制网络来执行当时的各种任务。

图灵是一个有远见的人。他理解这种机制所需的复杂性。我们的 “深度网络” 在信息处理的复杂性方面非常浅:它们甚至无法推断任意长度的分支多米诺骨牌链的结果。

那么,图灵这篇***性的论文讲了什么?新智元带来解读:

图灵提出“无组织机器”:类比婴儿的大脑皮层

图灵在这篇论文中提出了 “无组织机器”(unorganized machine) 的概念,他认为人类婴儿的大脑皮层就是一种 “无组织机器”,可以通过适当的干扰训练来有组织化。

图灵将无组织机器定义为在初始时大部分结构随机,但是能够被训练去执行特定的任务的机器

实际上,图灵的无组织机就是一种早期的随机连接神经网络模型,是对真实神经网络系统最简单的猜想之一。

图灵定义了两个类型的无组织机器。***种是 A 型机器 —— 这些机器本质上是由 NAND 逻辑门随机连接的网络。

第二种被称为B 型机器,它采用 A 型机器的结构,并使用一个称为 connection modifier 的结构来替换每个节点间的连接。connection modifier 的目的是让 B 型机接受 “适当的干扰,模仿教育”,以便将网络的行为有组织化,以执行有用的工作。

B 型无组织机可以说是一种神经网络,由人工神经元组成,如下图的圆圈所示;connection-modifiers 如下图的方框所示。


B 型网络中的两个神经元

在 “遗传算法” 这个术语被创造出来之前,图灵甚至提出使用他称为 “genetical search”的机制来配置他的无组织机。

图灵认为,当网络中的节点数量较大时,B 型机器的行为可能非常复杂,并指出 “从进化和遗传学的角度来看,大脑皮层作为一个无组织机器的观点是非常有道理的”。

图灵的神经网络是如何工作的

如上图所示,每个神经元有两个输入,神经元的输出是两个输入的简单逻辑函数。网络中的每个神经元都执行相同的逻辑操作,称为 “Nand”。

Nand 的定义如下表所示:

中断模式 (interrupt mode) 下 ,connection-modifier 的输出总是 1。因此,如果神经元的一个输入连接在中断模式下通过 connection-modifier 传递,那么神经元的输出与第二个输入的任何内容完全相反 (或称 “布尔否定”)。

例如,表格的前两行显示了当 INPUT-1 在中断模式下连接到 modifier 时会发生什么。在这种情况下,神经元的输出与 INPUT-2 相反。

图灵选择 nand 作为他的模型神经元的基本操作,因为其他逻辑 (或布尔) 操作都可以由一组 nand 神经元执行。图灵表明,甚至连 connection-modifier 本身也可以由 nand-neuron 构成。因此,每个 B 型网络都可以由 nand-neuron 及其连接组成。这是大脑皮层的最简单模型

下面是一个 B 型无组织机的例子,图灵将这个例子描述为 “随机选择”

你能弄清楚这个网络的行为吗?

下面是一个更大的 B 型网络的例子,其中神经元自由互联:


大型初始随机 B 型网络的一部分

在没有电子计算机的时代,用纸和铅笔模拟大脑

大脑中一个神经元的大量输出可以直接或通过一些中间的神经元链与神经元自身的输入相连。

神经科学家长期以来强调大脑反馈的重要性和普遍性。例如,大脑利用反馈来帮助我们把注意力集中在某些感知上,而不是排斥其他感知。Stefan Treue 和 John Maunsel 最近发现,当一只猴子的注意力集中在电脑屏幕上几个独立移动的点中的一个点上时,反馈会从较高皮层的神经元返回到识别运动的下部皮质区域的神经元。

这种反馈作用是抑制神经元的活动,这些神经元对无参与点的运动作出反应。然而,尽管反馈在大脑中很重要,但在现代的连接主义网络中很少使用。相反,B 型网络中的神经元相互连接非常自由,像大脑一样,一个大的网络通常会充满反馈。

图灵希望研究更复杂的大脑皮层模型。他渴望做现代连接学家能够做的事情:用一台普通的数字计算机模拟神经网络及其训练方案。

他说,他将 “允许整个系统运行一段相当长的时间,然后作为一种’学校督察员’介入,看看能取得什么进展”。但他自己对神经网络的研究是在***台通用电子计算机投入使用前进行的,当时他只能用纸和铅笔。

后来,他将注意力转向现在所谓的人工生命的相关研究。直到 1954 年,也就是图灵去世的那一年, B.G. Farley 和 W.A. Clark 才在 MIT 成功地运行了***个小型神经网络的计算机模拟。

图灵的原始论文:

https://weightagnostic.github.io/papers/turing1948.pdf

解读:

https://www.alanturing.net/turing_archive/pages/Reference%20Articles/connectionism/Turing's%20neural%20networks.html

人工智能 机器学习 技术
上一篇:Facebook 开源深度学习推荐模型 DLRM 下一篇:AI艺术日渐繁荣,未来何去何从?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

面部识别的利与弊:是福还是祸?

虽然现代技术使面部识别更加精确和安全,但与面部识别隐私问题和监控有关的担忧也在增加。因此,让我们在这篇文章中探讨一下这该技术的利与弊。

Naveen Joshi ·  2021-06-01 16:36:22
人工智能和5G如何结合以实现物联网收入最大化

网络系统通过信令和使用软件以及分析来检测和分类设备非常棘手,并且对有限且日益紧张的网络资源提出了巨大的需求。然而,解决这些问题有一个主要解决方案:采用人工智能、自动化和5G技术。

Jordi Castellvi ·  2021-06-01 13:49:15
MIT团队最新研究,仅靠LiDAR和2D地图实现端到端自动驾驶

最近, MIT 计算机科学与人工智能实验室(CSAIL)团队成功展示了一种基于机器学习的自动驾驶系统,该端到端框架仅使用 LiDAR获取的原始 3D 点云数据和类似于手机上的低分辨率 GPS 地图就能进行自主导航,并且大大提升了鲁棒性。

文龙 ·  2021-06-01 12:47:51
自然语言处理(NLP)的历史及其发展方向

自然语言处理的历史是一个充满曲折的故事。它从徒劳的研究开始,经过多年卓有成效的工作,最后结束于一个我们仍在试图找出该领域极限的时代。今天,让我们来一起探索这一AI科学分支的发展。

佚名 ·  2021-06-01 12:46:26
是福还是祸?人脸识别技术的利与弊

面部识别并不是一项全新的技术,但人工智能和机器学习不断使面部识别变得更好。苹果通过引入具有 3D 扫描功能的面部生物识别系统和 iPhone 的 Face ID,提高了面部识别的标准。

Naveen Joshi ·  2021-06-01 11:11:01
人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载