自动优化架构,这个算法能帮工程师设计神经网络

作者: Synced 2019-12-11 11:53:51

 近日,NeurIPS 2019 近日在加拿大温哥华召开。腾讯 AI Lab 共 14 篇论文入选,位居国内企业前列。这也是腾讯 AI Lab 第四次参加 NeurIPS,会议期间,我们选取了一篇来自腾讯 AI Lab 的优秀论文进行解读。

在这篇由腾讯 AI Lab 主导,和华南理工大学合作完成的论文中,作者利用强化学习的方法学习了一种神经网络结构转换器。它能对任意的神经网络结构进行优化,将其转换为更紧凑、识别精度更高的结构。以下为论文的详细解读。

NAT: Neural Architecture Transformer for Accurate and Compact Architectures

论文链接:https://papers.nips.cc/paper/8362-nat-neural-architecture-transformer-for-accurate-and-compact-architectures.pdf

现有的深度神经网络结构要么是人工设计的,要么是通过神经网络结构搜索 (NAS) 方法自动搜索得到的。然而,这些网络结构可能包含许多冗余的计算操作,存在可优化的空间。为了实现网络结构的优化,作者提出了一个神经网络结构转换器(Neural Architecture Transformer,简称为 NAT)的方法。该方法可以用计算复杂度更低的计算操作代替网络结构中冗余的操作,从而实现性能提高的同时,保证不会引入额外的参数和计算量。

神经网络中的计算操作可以分为三类,即 S, N, O。其中,S 表示跳跃连接,N 表示为空连接(即两个节点之间没有连接),O 表示除了跳跃连接和空连接之外的其它操作(如:卷积、池化操作等)。显然,这三者计算量的大小顺序为:O>S>N。为了降低网络结构的计算复杂度,我们希望所学到的 NAT 用计算量更少的操作来代替原网络结构中的冗余操作。因此,NAT 遵循以下的转换规则:OàS, OàN, SàN。由于跳跃连接往往有助于提升模型的性能而且其引入的计算量非常少,因此 NAT 也允许 NàS。总之,NAT 的转换方案如下图所示。

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

具体来讲,对于任意一个服从分布p(·)网络结构β,NAT 的目标为寻求找到,仅仅通过上述所允许的操作变化得到的,最优的结构α。这个优化问题可以写成:

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

其中:

  1. R(α│β)=R(α,w_α )-R(β,w_β ),R(α,w_α ) 表示最优参数为 w_α的网络结构α在验证集合上的性能;
  2. c(α)≤κ 是所得到的模型的计算开销的一个约束。

然而,直接获得最优的结构α是很困难的。因此,NAT 首先学习一个策略,然后从学到的策略中采样α,即α服从。为了学习策略π,我们解决以下优化问题:

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

为了解决该优化问题,作者采用了强化学习方法中的策略梯度方法。为此,需要构造一个合适的策略函数。由于网络结构β可以用 (X,A) 表示(其中 A 为邻接矩阵,X 为节点特征),来表示,作者在这里的策略π(α|β,θ) 采用了两层的图卷积神经网络(GCN),即:

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

其中,

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

此外文章采用了参数共享的方法来避免从头训练每个结构的参数。总体看来,优化思路就是对下面两步进行迭代优化:

1、更新神经网络参数 w,(利用了参数共享的思想):

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

2、更新θ,(利用最大熵鼓励探索):

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

其中第 2 步的流程示意图如下所示:

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

为了验证 NAT 的有效性,作者将 NAT 应用于人工设计的结构(如:VGG、ResNet、MobileNet)和 NAS 得到的结构(如:ENAS、DARTS、NAONet)。结果分别见表 1 和表 2 所示。

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

表 1. NAT 在人工设计的网络结构上的优化结果。

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

表 2. NAT 在 NAS 方法所得的网络结构上的优化结果。

从表 1 和表 2,可以观察到,在 ImageNet 数据集上,经过 NAT 优化后的模型都比原来的基准模型,在计算复杂度相近甚至更低的情况下,获得了更高的识别精度。

下面,对 NAT 优化后的模型结构进行可视化。图 1 和图 2 分别给出了 NAT 在人工和 NAS 所设计的网络结构上的优化结果。

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

图 1. NAT 在人工设计的网络结构上的优化结果。

如图 1 所示,对于人工设计的网络结构,NAT 引入额外的跳跃连接来提高识别精度。

NeurIPS 2019 |自动优化架构,这个算法能帮工程师设计神经网络

图 2. NAT 在 NAS 设计的网络结构上的优化结果。

从图 2 可以观察到,对于 NAS 方法得到的网络结构,NAT 通过使用跳跃连接替换冗余操作或者直接删除连接的方法来降低计算量。

此外,作者还对比了不同的策略函数,发现 GCN 优于传统的 LSTM 模型。总之,这项研究对自动化机器学习、网络结构设计,深度学习模型性能优化等诸多实际机器学习问题有重要的指导意义。

架构 运维 技术
上一篇:人工智能市场的需求与应用 下一篇:AI公开课 | 我猜你对数据标注还不了解吧?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

华人博士生首次尝试用两个Transformer构建一个GAN

最近,CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明,transformer 有可能成为计算机视觉任务(如分类、检测和分割)的强大通用模型。

Yifan Jiang ·  2021-02-20 21:04:53
日常生活中使用AI的优秀范例

人工智能是在技术和商业领域中广泛讨论的比较流行的技术之一。 它在各个领域都有广泛的应用。您可能还没有意识到,但是它确实在我们的日常生活中起着重要的作用。

bookfoxers ·  2021-02-19 23:40:53
给你打骚扰电话的竟是AI机器人?

“你永远不知道网络另一端坐着的是不是一条狗”——随着技术的发展,同样的道理如今也适用于电话,即使电话那头的声音极为逼真、语序听着正常,可你又怎知对方是真人而非AI机器人?当毫无情感、不知疲倦的机器人成为骚扰电话拨打者时,骚扰电话变得越发让人排斥甚至害怕……相对于屏蔽和警惕骚扰电话,今天,我们将从技术的角度重新审视骚扰电话这个行业。

原东山 ·  2021-02-15 15:17:15
2021年的机器学习生命周期

在这个时代,每个人都在学习机器学习(ML)。似乎每个收集数据的公司都在尝试找出某种方式来使用AI和ML分析其业务并提供自动化解决方案。

闻数起舞 ·  2021-02-14 00:39:57
人工智能助力教育评价现代化

教育评价作为推动教育质量不断提升的“牛鼻子”,是指在一定教育价值观的指导下,依据确立的教育目标,通过使用一定的技术和方法,对所实施的各种教育活动、教育过程和教育结果进行科学判定的过程。当前,我国教育评价体系尚存在不科学不完善之处,而人工智能技术的发展则为全面深化教育评价体系改革,推进新时代教育评价体系现代化提供了有利契机。

唐卓 ·  2021-02-06 13:14:34
一文看懂人工智能发展的这些年

这几年随着AI的浪潮席卷而来,各行各业陆续上演着AI取代人类工作的戏码,好像凡事只要套上AI再困难的事情都能解决,所以究竟AI到底是什么?今天就让我用一篇文章带你快速了解这人类长久以来的梦想技术——AI。

后浪科普 ·  2021-02-05 23:29:20
对话型人工智能如何改善客户体验

对话型人工智能让应用程序与人类进行互动,使程序能够自动发送回复。这是人工智能创新领域以指数速度发展的又一例证。

风车云马 ·  2021-02-05 08:00:00
让AI与人类的价值观保持一致,怎么就这么难?

几十年以来,我们一直在努力按自己的形象开发出人工智能。在此期间,我们也始终致力于创造一种既像人类一样睿智、又像人类一样愚蠢的机器。

科技行者 ·  2021-02-04 15:05:36
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载