150页「几何深度学习」上线:用对称性和不变性解决机器学习问题

作者: 佚名 2021-04-30 15:16:59

 近十年来,数据科学和机器学习领域取得了巨大的进展。借助深度学习方法,许多高维学习任务(例如计算机视觉、蛋白质折叠)在适当的计算规模下也能够完成。虽然在高维空间中,学习通用函数是一个非常困难的问题,但大多数任务上方法不是通用的,并且物理世界的基础低维和结构存在一些必要的预定义规律。

图神经网络和几何深度学习近期的一系列进展,有希望帮助机器学习解决更加深入复杂的问题。

几何深度学习,是从对称性和不变性的角度对广义机器学习问题进行几何统一的尝试。这些原理不仅是卷积神经网络的突破性性能和图神经网络的近期成功的基础,而且还为构建新型的、面向特定问题的归纳偏差提供了一种有原则的方法。

近日,一本名为《几何深度学习》的新书通过可在各种应用程序中应用的几何统一原理来揭示其中的规律性。这种「几何统一」具有两方面的意义:一方面,它提供了一个通用的数学框架来研究一些神经网络架构,例如 CNN,RNN,GNN 和 Transformer。另一方面,它提供了一个建设性的程序,可以将先验物理知识整合到神经架构中,并提供原则性的方法来构建一些新的架构。

教你如何组建机器学习架构

《几何深度学习》(Geometric Deep Learning, Grids, Groups, Graphs, Geodesics, and Gauges)是深度学习几何统一项目的第一版在线书,作者们表示该书自 2020 年 2 月起开始写起,目前版本的页数已超过了 150 页。

该研究的四位作者 Michael M. Bronstein、Joan Bruna、Taco Cohen、Petar Veličković来自帝国理工、纽约大学、DeepMind 等研究机构。

150页「几何深度学习」上线:用对称性和不变性解决机器学习问题

链接:
https://geometricdeeplearning.com/

arXiv 论文:
https://arxiv.org/abs/2104.13478

在这本书中,研究者从对称性,不变性和群论的角度出发,试图提炼出「构建所有常用神经架构所需的知识」。涵盖了诸如 CNN、GNN、Transformer 和 LSTM 之类的常用模型,同时还包括球面卷积神经网络(Spherical CNN)、SO(3)-Transformer 和 Gauge Equivariant Mesh CNN 等新模型。

全书包括内容简介、高位空间中的学习、几何先验知识、几何域、几何深度学习模型、存在的问题与应用、历史观点共 7 章内容。以下是该书目录:

150页「几何深度学习」上线:用对称性和不变性解决机器学习问题
150页「几何深度学习」上线:用对称性和不变性解决机器学习问题

预备知识

该书作者之一,DeepMind 资深研究科学家 Petar Veličković表示:「如果你此前尚未接触过群论知识,则我们构建的一些概念看起来会有些不太真实。

为此,你可以事先观看一些作者之间视频分享的内容作为前置,也许这可以使某些无法以文字准确描述的内容变得更加「生动」。

Petar Veličković在剑桥大学的分享——图神经网络的理论基础:
https://www.youtube.com/watch?v=uF53xsT7mjc

Michael Bronstein 在 ICLR 2021 上的 Keynote:
https://iclr-conf.medium.com/announcing-the-iclr-2021-invited-speakers-db4aba84038a

此外,书中内容包括如下一些概念:

域:定义数据的所有「点」的集合。例如,对于图像来说,域是所有像素的集合;对于图来说,域是所有节点和边的集合。注意,该集合可能是无限的或者连续的,但是将其想象为有限的可能会让一些数学运算变得容易。

对称群:集合Ω到Ω自身双射的集合(g: Ω → Ω)。例如,通过将图像上每个像素向右移动一个 slot,并不会改变图像上的对象。

由于要求对象在进行对称变换时保持不变,因此引入了如下属性:

对称操作必须是可组合的。例如,如果将球体绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度,并假设每次旋转不会改变球体上的对象,那么连续使用多次变换,那么球体上的对象也没有发生改变,即绕 x 轴旋转 30 度,然后绕 y 轴旋转 60 度也是一种对称操作。通常,如果 g 和 h 是对称操作,那么 g o h 也是对称操作。

对称操作必须是可逆的——如果我没有更改底层对象,那么我必须能够返回自己的来源(否则意味着丢失信息)。因此如果将球体顺时针旋转 30 度,那么是可以通过逆时针旋转 30 度来「撤消」原动作的。如果 g 是对称的,则 g ^-1 必须存在(并且也是对称的),这就使得 g o g ^-1 = id (恒等)。

保持域不变的恒等函数(id)也必须是对称的。

所有这些属性相加,你就会发现所有对称集与组合运算符(o)一起组成了一个 group,这是在书中广泛使用的数学结构。

150页「几何深度学习」上线:用对称性和不变性解决机器学习问题

在机器学习社区中,对称性的重要性早已被人们认可,尤其是在模式识别和计算机视觉应用中,有关等变特征检测的早期工作可以追溯到 Shun’ichi Amari 和 Reiner Lenz 在上个世纪的研究。在神经网络的领域中,Marvin Minsky 和 Seymour Papert 提出的感知器的群不变性定理对(单层)感知器学习不变性的能力进行了基本界定。这是其后多层架构研究的起点,最终引向了深度学习。

机器学习 人工智能 计算机
上一篇:机器学习新算法更好描述量子系统模型 下一篇:蔡自兴院士:开源开放是人工智能发展新趋势
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

面部识别的利与弊:是福还是祸?

虽然现代技术使面部识别更加精确和安全,但与面部识别隐私问题和监控有关的担忧也在增加。因此,让我们在这篇文章中探讨一下这该技术的利与弊。

Naveen Joshi ·  2021-06-01 16:36:22
人工智能和5G如何结合以实现物联网收入最大化

网络系统通过信令和使用软件以及分析来检测和分类设备非常棘手,并且对有限且日益紧张的网络资源提出了巨大的需求。然而,解决这些问题有一个主要解决方案:采用人工智能、自动化和5G技术。

Jordi Castellvi ·  2021-06-01 13:49:15
MIT团队最新研究,仅靠LiDAR和2D地图实现端到端自动驾驶

最近, MIT 计算机科学与人工智能实验室(CSAIL)团队成功展示了一种基于机器学习的自动驾驶系统,该端到端框架仅使用 LiDAR获取的原始 3D 点云数据和类似于手机上的低分辨率 GPS 地图就能进行自主导航,并且大大提升了鲁棒性。

文龙 ·  2021-06-01 12:47:51
自然语言处理(NLP)的历史及其发展方向

自然语言处理的历史是一个充满曲折的故事。它从徒劳的研究开始,经过多年卓有成效的工作,最后结束于一个我们仍在试图找出该领域极限的时代。今天,让我们来一起探索这一AI科学分支的发展。

佚名 ·  2021-06-01 12:46:26
是福还是祸?人脸识别技术的利与弊

面部识别并不是一项全新的技术,但人工智能和机器学习不断使面部识别变得更好。苹果通过引入具有 3D 扫描功能的面部生物识别系统和 iPhone 的 Face ID,提高了面部识别的标准。

Naveen Joshi ·  2021-06-01 11:11:01
人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载