神经网络不可思议的声誉

作者: 佚名 2017-03-21 08:52:20

如今不迷恋深度学习是不可能的,你可以看到神经网络正在发挥它无止境的技巧。在我看来,神经网络给我们留下深刻印象至少有两个原因:

(1)神经网络可以从弱先验中学习建立许多良好的自然功能模型

将分层、分布式的表示与快速的、经GPU优化的梯度计算结合的思想是非常强大的。初期的神经网络会碰到局部最优的问题,但是训练更深层网络的能力解决了此问题,并使得反向传播大放光彩。在通过简单的架构决策得到少量的专业知识之后,深度学习的实践者们现在找到了一系列强大的参数函数以及优化它们的实用方法。

第一个这种架构决策是卷积或者递归结构的使用,向模型输入空间和时间上不变的数据。单凭这点,神经网络在图像分类,语音识别,机器翻译,Atari游戏以及许多其他领域都表现得十分出色。最近,基于输入数据自顶向下关注点(top-down attention )的机制在图像和自然语言任务中体现了它的价值,然而可微的内存模型比如磁带和堆栈甚至可以让网络从只有一对输入输出的简单算法中学习规则。

(2)神经网络可以学习到惊人有用的表示

当社区仍然急切等待非监督式学习的出现时,深度监督式学习已经在构建可归纳和可解释特征方面体现了令人印象深刻的才能。也就是说,神经网络在被训练预测P(y|x)时学习到的特征通常是可解释的,并且为一些其他相关函数P(z|x)建模非常有用。

举几个例子:

1)用于分类场景的卷积神经网络的单元通常可以学习在这些场景中特定的物体(比如灯塔),即使它们没有被明确的训练这么做(Zhou et al., 2015)。

2)图像分类网络中底层的相关系数能够提供一幅图像艺术风格出奇良好的签名,可以对一幅图像使用其他风格来合成新图像(Gatys et al., 2015)。

3)一种递归神经网络[文末有更正]被训练用来预测句子中丢失的词语,可以学习到有意义的单词组合,简单的矢量运算可以用来寻找语义类比。比如:

  • vking - vman + vwoman ≈ vqueen
  • vParis - vFrance + vItaly ≈ vRome
  • vWindows - vMicrosoft + vGoogle ≈ vAndroid

我毫不怀疑,在未来几年,神经网络将会运用于更多的任务之中,更深入地整合到行业里去,并将继续有新的超能力让研究者耳目一新。这当然有道理,我也无意贬低深度学习目前和未来的影响;但是关于这些模型智能的乐观情绪令人担忧,让人又想起20世纪60年代人工智能的冬天。

从过去几年的进步可以推断,我们会相信,深度强人工智能的出现指日可待,只需多一些架构技巧,更大的数据集和更强劲的计算能力就能够实现。我认为有两点有力的原因可以增加对此的怀疑。

首先,仅仅依靠单个任务,想要让机器有广泛的智能或者有能力获得这种智能是个坏主意。50年代的下跳棋机器惊艳了研究者,很多人认为这是迈向人类水平推理的一大步,但现在我们意识到在这种游戏中达到人类水平或超人类水平要比达到人类水平的强智能要简单太多了。事实上,即使是最优秀的人,也很容易被简单启发式搜索算法打败。这种算法可能无法促进机器智能的长远目标,尽管它表面上看起来会非常智能,在人工智能的其他领域也是一样,比如80年代的专家系统。在大多数任务中,人类水平或超人类水平的性能不一定是通往接近人类机能的必要垫脚石。

同样的道理,神经网络学习可解释词语组合的能力,并不意味着它是成为人类水平理解世界的正确工具。这些有目的性的统计模型在对世界没有更丰富感知的情况下,单从文本中就可以学习到有意义的关系令人印象深刻,令人吃惊,但这可能会让人谈论任务意想不到的简单而不是模型的能力。比如跳棋机器可以通过树搜索来赢得胜利,许多语义关系可以这么做来从文本数据中学习。这两者都有令人印象深刻的智能行为,但都不是达到真正机器智能的方式。

我想特别说明神经网络的长处,以及与人类智能如何联系。深度学习产生了惊人的判别模型,生成模型和特征提取,但它们的共同之处都是需要非常大的训练数据集。在n和d非常高的情况下,它作为一种强大的通用模式识别工具使用。这可能是这种范式中最佳的工具。

这非常适合大脑能够解决的一种特定类型的问题:找到良好的表示来描述通过感官收到的持续、巨大的数据。在任何感官从环境获取信息前,视觉和听觉系统需要从原始像素和声波中对数据进行折叠,拉伸和扭曲,转换成能够从信号中更好捕获复杂统计规律的数据形式。不管这种能力是从头开始学习还是通过进化而形成的,大脑能够娴熟地解决这个问题——甚至,有最新证据表明大脑发现的表示与神经网络发现的差异并不大。我认为,深度学习可以为许多感知问题提供了不起的起点。

这就是说,这种高n、高d的范式是非常特别的,并不适合用来描述大量的智能行为。人类思维的多面性包括规划完成新目标,从他人的行为中推断他们的目的,学习结构化理论来描述世界规则,发明实验来验证这些理论,仅从一个例子中学习识别新物体种类。它们往往会有一些从少量观测数据中得到的不确定原则推断。对于神经网络取得的所有成就,它们仅仅在不同于以上提到的任务的基本任务中证明了自己的价值。如果表面上看起来它们在所有方面都取得成功,那么是因为它们学习了上百次的例子,而人类并没这么做。

深度学习给我带来了迈向机器智能的一个途径,而且我们现在可以使用许多不同的工具。从拥有大量数据的弱先验中,在高维度下学习良好特征,是一种的、令人兴奋的能力,但我们不应该就认为大部分智能Agent面临的问题都能够用这种方式解决。神经网络中的梯度下降可能可以帮助建立思考机器的组成部分,但它本身是没有思考能力的。

更正:用来生成单词类比的模型实际上是一种对数线性跨词序列模型(log linear skip-gram model),用来区别负样本中临近单词对(Mikolov et al., 2013)。非常感谢fnl的指正。

神经 网络 声誉
上一篇:AI从业者的思考:深度学习很厉害,但别捧杀它 下一篇:使用机器学习技术提高读唇准确性
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

神经网络中的各种损失函数介绍

不同的损失函数可用于不同的目标。在这篇文章中,我将带你通过一些示例介绍一些非常常用的损失函数。这篇文章提到的一些参数细节都属于tensorflow或者keras的实现细节。

人工智能遇见磐创 ·  2019-10-08 15:39:54
如何利用人工智能更好地创建企业的网站

以下介绍如何使用人工智能创建网站,随着技术的不断发展,网站会蓬勃发展,功能日趋强大。

Harris ·  2019-08-20 16:28:20
麦肯锡AI笔记:解密人工智能19个行业400+用例,万亿价值在何方?

近日,麦肯锡发表研究报告,指出人工智能为分析技术贡献了40%的年度价值,加起来每年可创造3.5万亿到5.8万亿美元的潜在价值,相当于各个行业(2016)年度收入的1%到9%。

十四 ·  2018-05-14 13:45:25
利用神经网络算法的C#手写数字识别

我决定用C#重新写一下我的一些程序。我的程序已经取得了良好的效果,但还并不优秀(在收敛速度,错误率等方面)。

青橙译 ·  2018-02-09 09:59:12
人工智能将有望脱离网络运行

边缘计算的进步以及越来越强大的芯片可能使得人工智能(AI)在没有广域网(WAN)的前提下运行,滑铁卢大学开发的技术为人工智能突破互联网和云计算铺平了道路。利用该技术生产的新型深度学习AI软件非常紧凑,足以适用于从智能手机到工业机器人等各种应用的移动芯片。

佚名 ·  2017-12-25 14:34:19
你所不能不知道的CNN

说起CNN,最初人们想到的都是某电视台,但等过几年,人们想起的多半是深度学习了。应该说, CNN是这两年深度学习风暴的罪魁祸首, 自2012年, 正是它让打入冷宫的神经网络重见天日并且建立起自己在人工智能王国的霸主地位。

陈欣 ·  2017-12-25 13:26:36
AI与区块链:两大热门技术,会碰撞出什么样的火花?

本文旨在窥探一下AI与区块链的融合所产生的潜能,并且讨论这一联盟的标准定义、挑战以及好处,以及该领域的一些有趣的玩家。

佚名 ·  2017-12-15 12:49:50
深度学习的这些坑你都遇到过吗?神经网络11大常见陷阱及应对方法

如果你的神经网络不工作,该怎么办?本文作者列举了搭建神经网络时可能遇到的11个常见问题,包括预处理数据、正则化、学习率、激活函数、网络权重设置等,并提供解决方法和原因解释,是深度学习实践的有用资料。

刘小芹 ·  2017-09-07 15:23:21
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载