机器学习的未来就在这里:高斯过程和神经网络是等价的

作者: 闻数起舞 2020-11-10 14:09:48

高斯进程已经存在了一段时间,但它只是在过去5-10年,有一个大的复苏,其兴趣。部分原因是求解的计算复杂:由于他们的模型需要矩阵反转,复杂性是 O(n3),很难更快地获得。正因为如此,它一直难以解决一段时间,因为计算能力一直如此薄弱,但在过去的几年里,有这么多的研究和资金背后的ML,它变得更加可能。

高斯过程最酷的特征之一是它们非常非常相似的神经网络。事实上,众所周知,高斯进程(GP)相当于单层完全连接的神经网络,其参数比其参数更具有 i.i.d. 。

我想说清楚这一点:下面的证据很简单,但它具有深远的影响。中央极限定理可以统一明显复杂的现象,在这种情况下,性能最好的模型可以被视为机器学习模型的子集,该模型的领域尚未完全成熟。

是的,对GP的研究一直经受住考验,但只是在过去几年中,研究人员才开发出能够对非线性模式(如跳跃)进行特征化的深高斯过程,而DNN的这种模式是做成的(特别是能够对XOR逻辑进行建模)。因此,从这一点,我们可以看到,有这么多收获。

我一直想研究一下这个证据, 下面很简单。以下文章由李等人在谷歌脑的报纸上取,因此我要感谢他们让本文如此方便。

有点符号

注意:您不能对"媒体"上的所有内容进行下标,因此,如果您看到下划线(M_l),则假设这意味着 M 与 l 作为下标。所以一个M_i + 米

考虑使用隐藏宽度层(对于层 L)N_l L 层完全连接的神经网络。让 x ∈ Rdɪ输入到网络,让 z l 表示其输出(在层 L)。l'th 层中激活的 i'th 组件表示为 xli 和 zli。l'th 层的权重和偏置参数具有 iid 的零值和偏置参数,并假定它们具有零均值和 σ 2_w/N_l。

机器学习的未来就在这里:高斯过程和神经网络是等价的
> Photo by Maximalfocus on Unsplash

神经网络

现在我们知道神经网络输出 (zli) 的 i'th 组件的计算方式如下:

机器学习的未来就在这里:高斯过程和神经网络是等价的

我们显示了对输入 x 的依赖性。由于权重和偏置参数假定为 iid,因此 xli 和 xli' 的 pos 激活函数对于 j=/j' 是独立的。

现在,由于 zli(x) 是 iid 项的总和,它遵循中央限制定理,因此在无限宽度 (N1-> ∞) 的限制中,zli(x) 也因此高斯分布。

高斯进程

同样,从多维CLT,我们可以推断比任何有限集合的变量z将是联合多变量高斯,这恰好是我们高斯过程的确切定义。

因此,我们可以得出结论,zli(x)=GP(μ 1,K1)是一个高斯过程,均值为μ 1,K1为协方差,它们本身与 i 无关。由于参数的均值为零,因此μ 1=0,但 K1(x,x') 如下所示:

机器学习的未来就在这里:高斯过程和神经网络是等价的

其中,通过针对W0和b0的分布进行整合获得这种协方差。请注意,由于 i=/=j 的任何两个 zli 和 zlj 都是共同的高斯,并且零协方差,因此尽管使用了隐藏层产生的相同功能,它们仍保证是独立的。

机器学习的未来就在这里:高斯过程和神经网络是等价的
> Photo by Birmingham Museums Trust on Unsplash

一些证据是简单和合乎逻辑的,中央极限定理的魔力是,它统一了高斯分布下的一切。高斯分布是伟大的,因为边缘化和调节变量(或维度)导致高斯分布和功能形式是相当简单的,所以事情可以浓缩成封闭形式的解决方案(所以很少需要优化技术)。

让我知道你是怎么找到我的逻辑, 问问题, 如果你有任何问题, 请让我知道, 如果我错过了什么!

随时了解我的最新文章!

高斯进程 神经网络 高斯
上一篇:当人工智能伤害了人,谁来承担责任? 下一篇:指纹、面部和虹膜:如何选择适合的生物识别技术?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

用新的机器学习思考方式 来辨别自然异常与人为误导

某些对抗性事件很可能是人为设计而来。我们必须知晓其中的手法与工件是什么,这样才能真正理解深度神经网络的可靠性。

佚名 ·  23h前
皱眉细节完美复刻,阿尔伯塔大学团队的项目生成超逼真的肖像画

深度卷积神经网络已经被广泛用于显著目标检测,并获得了 SOTA 的性能。在 CVPR 2019 的一篇论文中,来自加拿大阿尔伯塔大学的研究者曾提出了边界感知显著目标检测网络 BASNet,并衍生出了一系列流行的工具。

佚名 ·  2天前
训练时间和参数量百倍降低,直接使用标签进行预测,性能超GNN

将传统标签传播方法与简单模型相结合即在某些数据集上超过了当前最优 GNN 的性能,这是康奈尔大学与 Facebook 联合提出的一项研究。这种新方法不仅能媲美当前 SOTA GNN 的性能,而且参数量也少得多,运行时更是快了几个数量级。

Qian Huang等 ·  2020-11-04 15:30:46
面向深度学习的五大神经网络模型及其应用

神经网络是识别一组数据中潜在关系的一系列算法。这些算法很大程度上有赖于人脑的运作方式。神经网络可以适应不断变化的输入,生成最佳结果,无需重新设计输出标准。在某种程度上,这些神经网络类似生物神经元的系统。

布加迪 ·  2020-11-02 08:00:00
神经网络内部长啥样?

在这篇论文中,她将这些“黑匣子”一个个打开,对神经网络原理进行了详细的解释。

佚名 ·  2020-10-30 11:25:15
万余首钢琴作品一千多小时,字节跳动全球最大钢琴MIDI数据集

近期,字节跳动发布全球最大的古典钢琴数据集 GiantMIDI-Piano,包括来自 2,784 位作曲家 10,854 首作品的 MIDI 文件,总时长为 1,237 小时。研究者为完成该数据集的构建,开发并开源了一套高精度钢琴转谱系统。

佚名 ·  2020-10-28 15:19:43
回归根基:5篇必读的数据科学论文,帮你保持领先地位

这篇文章涵盖了几个最重要的新近发展和最具影响力的观点,涵盖的话题从数据科学工作流的编制到更快神经网络的突破,再到用统计学基本方法解决问题的再思考,同时也提供了将这些想法运用到工作中去的方法。

读芯术 ·  2020-10-26 21:05:55
如何从NumPy直接创建RNN?

使用成熟的Tensorflow、PyTorch框架去实现递归神经网络(RNN),已经极大降低了技术的使用门槛。但是,对于初学者,这还是远远不够的。知其然,更需知其所以然。

佚名 ·  2020-10-23 10:30:54
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载