图灵71年前就已提出神经网络!《智能机器》再掀热议

作者: 小芹、张佳 2019-06-29 17:23:46

 

早在 1948 年,图灵就写了一篇题为《智能机器》的论文,描绘了现在成为人工智能核心的许多概念,包括遗传算法、神经网络、强化学习等。在没有电子计算机的年代,图灵用纸和铅笔做出了这项开创性的研究,在今天引发热议。

很少人知道,早在 1948 年,艾伦 · 图灵就写了一篇题为《智能机器》(Intelligent Machinery) 的论文,描绘了人工智能中联结主义的大部分内容。

这篇论文是图灵在伦敦国家物理实验室工作时写的,但没有得到他的老板的认可。当时的实验室主任查尔斯 · 达尔文爵士称这是一篇 “学生论文”,并写信给图灵,抱怨论文“满是脏痕” 外观。

事实上,这篇具有远见卓识的论文是关于人工智能的***个宣言,但遗憾的是图灵从未发表它。

在这篇论文中,图灵不仅阐述了联结主义的基本原理,而且出色地引入了许多后来成为人工智能核心的概念,包括具有学习能力的遗传算法和神经网络(他称之为 “ 无组织机器 ”)、甚至强化学习的思想。当然,这些概念是在其他人重新发明之后才成为核心的。

图灵在论文摘要中写道:

这篇文章讨论了使机器显示出智能行为的可能方法。指导原则是与人脑的类比。本文指出只有提供适当的教育,机器才能实现人的智慧潜能。研究主要围绕一个应用于机器的类似教学过程展开。定义了无组织机器 (unorganized machine) 的概念,并提出婴儿期的人脑皮层具有这种性质。本文给出了这类机器的简单例子,并讨论了它们的奖惩教育。在一种情况下,教育过程一直进行到它的组织性与 ACE 类似为止。

(注:ACE 是指 Automatic Computing Engine, 图灵设计的一种早期的电子计算机。)


艾伦·图灵

图灵说:我提议研究这样一个问题:机器是否有可能表现出智能行为。人们通常想当然地认为这是不可能的。常见的说法如像机器一样做事”、“纯粹的机械行为” 等揭示了这种常见的态度。

图灵 1948 年论文引热议:一个对深入了解大脑痴迷的家伙

这篇论文在 Reddit 上引发了热烈讨论。

有人评论:像这样的论文今天几乎会被所有 “***” 人工智能会议和期刊拒绝,但我不得不说,我很欣赏它的简洁性和直接性(和诚实)。这在图灵的那个时代是很受重视的。那时编辑想到的***件事不是:“这篇会得到多少引用?”

有人评论:从长远来看,我认为跨学科是一种方法,但考虑到可用的计算和数据量以及仍未触及的领域或问题,你可以通过试验和使用蛮力获得一些结果。对于有哲学背景的人来说,这是一篇非常好的读物。

也有人 一语中的:这个家伙(图灵)实际上是对深入了解大脑过程痴迷

谷歌大脑研究科学家 Divid Ha 推荐了这篇论文:图灵在 1948 年提出利用进化来 “训练” 一种特殊类型的神经网络,他称之为 “B 型无组织机器”。他发展了二进制网络来执行当时的各种任务。

图灵是一个有远见的人。他理解这种机制所需的复杂性。我们的 “深度网络” 在信息处理的复杂性方面非常浅:它们甚至无法推断任意长度的分支多米诺骨牌链的结果。

那么,图灵这篇***性的论文讲了什么?新智元带来解读:

图灵提出“无组织机器”:类比婴儿的大脑皮层

图灵在这篇论文中提出了 “无组织机器”(unorganized machine) 的概念,他认为人类婴儿的大脑皮层就是一种 “无组织机器”,可以通过适当的干扰训练来有组织化。

图灵将无组织机器定义为在初始时大部分结构随机,但是能够被训练去执行特定的任务的机器

实际上,图灵的无组织机就是一种早期的随机连接神经网络模型,是对真实神经网络系统最简单的猜想之一。

图灵定义了两个类型的无组织机器。***种是 A 型机器 —— 这些机器本质上是由 NAND 逻辑门随机连接的网络。

第二种被称为B 型机器,它采用 A 型机器的结构,并使用一个称为 connection modifier 的结构来替换每个节点间的连接。connection modifier 的目的是让 B 型机接受 “适当的干扰,模仿教育”,以便将网络的行为有组织化,以执行有用的工作。

B 型无组织机可以说是一种神经网络,由人工神经元组成,如下图的圆圈所示;connection-modifiers 如下图的方框所示。


B 型网络中的两个神经元

在 “遗传算法” 这个术语被创造出来之前,图灵甚至提出使用他称为 “genetical search”的机制来配置他的无组织机。

图灵认为,当网络中的节点数量较大时,B 型机器的行为可能非常复杂,并指出 “从进化和遗传学的角度来看,大脑皮层作为一个无组织机器的观点是非常有道理的”。

图灵的神经网络是如何工作的

如上图所示,每个神经元有两个输入,神经元的输出是两个输入的简单逻辑函数。网络中的每个神经元都执行相同的逻辑操作,称为 “Nand”。

Nand 的定义如下表所示:

中断模式 (interrupt mode) 下 ,connection-modifier 的输出总是 1。因此,如果神经元的一个输入连接在中断模式下通过 connection-modifier 传递,那么神经元的输出与第二个输入的任何内容完全相反 (或称 “布尔否定”)。

例如,表格的前两行显示了当 INPUT-1 在中断模式下连接到 modifier 时会发生什么。在这种情况下,神经元的输出与 INPUT-2 相反。

图灵选择 nand 作为他的模型神经元的基本操作,因为其他逻辑 (或布尔) 操作都可以由一组 nand 神经元执行。图灵表明,甚至连 connection-modifier 本身也可以由 nand-neuron 构成。因此,每个 B 型网络都可以由 nand-neuron 及其连接组成。这是大脑皮层的最简单模型

下面是一个 B 型无组织机的例子,图灵将这个例子描述为 “随机选择”

你能弄清楚这个网络的行为吗?

下面是一个更大的 B 型网络的例子,其中神经元自由互联:


大型初始随机 B 型网络的一部分

在没有电子计算机的时代,用纸和铅笔模拟大脑

大脑中一个神经元的大量输出可以直接或通过一些中间的神经元链与神经元自身的输入相连。

神经科学家长期以来强调大脑反馈的重要性和普遍性。例如,大脑利用反馈来帮助我们把注意力集中在某些感知上,而不是排斥其他感知。Stefan Treue 和 John Maunsel 最近发现,当一只猴子的注意力集中在电脑屏幕上几个独立移动的点中的一个点上时,反馈会从较高皮层的神经元返回到识别运动的下部皮质区域的神经元。

这种反馈作用是抑制神经元的活动,这些神经元对无参与点的运动作出反应。然而,尽管反馈在大脑中很重要,但在现代的连接主义网络中很少使用。相反,B 型网络中的神经元相互连接非常自由,像大脑一样,一个大的网络通常会充满反馈。

图灵希望研究更复杂的大脑皮层模型。他渴望做现代连接学家能够做的事情:用一台普通的数字计算机模拟神经网络及其训练方案。

他说,他将 “允许整个系统运行一段相当长的时间,然后作为一种’学校督察员’介入,看看能取得什么进展”。但他自己对神经网络的研究是在***台通用电子计算机投入使用前进行的,当时他只能用纸和铅笔。

后来,他将注意力转向现在所谓的人工生命的相关研究。直到 1954 年,也就是图灵去世的那一年, B.G. Farley 和 W.A. Clark 才在 MIT 成功地运行了***个小型神经网络的计算机模拟。

图灵的原始论文:

https://weightagnostic.github.io/papers/turing1948.pdf

解读:

https://www.alanturing.net/turing_archive/pages/Reference%20Articles/connectionism/Turing's%20neural%20networks.html

人工智能 机器学习 技术
上一篇:Facebook 开源深度学习推荐模型 DLRM 下一篇:AI艺术日渐繁荣,未来何去何从?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

对象存储适合人工智能和机器学习的三个原因

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。

Gary Ogasawara ·  1天前
机器学习:有监督和无监督之间有什么区别

机器学习是人工智能的一个子集,它通过示例和经验教会计算机执行任务,是研究和开发的热门领域。我们每天使用的许多应用程序都使用机器学习算法,包括AI助手,Web搜索和机器翻译。

AI国际站 ·  1天前
机器学习的七原罪

机器学习是一种伟大的工具,正在改变着我们的世界。 在许多伟大的应用中,机器(尤其是深度学习)已被证明优于传统方法。 从用于图像分类的Alex-Net到用于图像分割的U-Net,我们看到了计算机视觉和医学图像处理领域的巨大成功。 不过,我看到机器学习方法每天都在失败。 在许多这样的情况下,人们迷上了机器学习的七大罪过之一。

闻数起舞 ·  1天前
人工智能技术或成为未来网络安全的引爆点和驱动力

根据《市场与市场人工智能网络安全预测报告》,预计到2026年,人工智能网络安全市场规模将从2019年的88亿美元增长到382亿美元,年复合增长率为23.3%。

佚名 ·  1天前
为ML模型注入灵魂:基于MVP的超简单部署方案

开发一个出色的机器学习模型是一件棘手的事,但即使开发完成也不意味着工作的结束。在部署之前,它仍然毫无用处,他人可以轻易访问。

读芯术 ·  1天前
2020年人工智能(AI)十大趋势应用

人工智能或机器智能通过学习算法模拟类似人类的智能。如今,人工智能已入侵几乎每个行业。人工智能行业最近在几乎每个领域都蓬勃发展。让我们看看机器智能或AI在各个领域中的应用。

小熊大学AI ·  1天前
可再生能源与机器学习“双重加持”,谷歌成功实现风力预测

从传统角度看,电力电场的发电能力普遍较弱,因为我们至今很难预测无形无相的风,会在新一天中表现出怎样的活动趋势。

佚名 ·  1天前
明确解释:机器学习与统计建模有何不同

这篇文章提出了一个非常重要的区别,我们应该将其理解为数据科学领域的活跃部分。 上面的维恩图最初是由SAS Institute发布的,但是它们的图显示统计和机器学习之间没有重叠,据我所知,这是一个疏忽。

闻数起舞 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载