抛弃归一化,深度学习模型准确率却达到了前所未有的水平

作者: 机器之心 2021-02-20 21:09:12

  我们知道,在传递给机器学习模型的数据中,我们需要对数据进行归一化(normalization)处理。

在数据归一化之后,数据被「拍扁」到统一的区间内,输出范围被缩小至 0 到 1 之间。人们通常认为经过如此的操作,最优解的寻找过程明显会变得平缓,模型更容易正确的收敛到最佳水平。

然而这样的「刻板印象」最近受到了挑战,DeepMind 的研究人员提出了一种不需要归一化的深度学习模型 NFNet,其在大型图像分类任务上却又实现了业内最佳水平(SOTA)。

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

该模型(红色)与其他模型在 ImageNet 分类准确度和训练时间上的对比。

该论文的第一作者,DeepMind 研究科学家 Andrew Brock 表示:「我们专注于开发可快速训练的高性能体系架构,已经展示了一种简单的技术(自适应梯度裁剪,AGC),让我们可以训练大批量和大规模数据增强后的训练,同时达到 SOTA 水平。」

该研究一经提交,便吸引了人们的目光。

抛弃归一化,深度学习模型准确率却达到了前所未有的水平
  • 论文链接:https://arxiv.org/abs/2102.06171
  • DeepMind 还放出了模型的实现:https://github.com/deepmind/deepmind-research/tree/master/nfnets

NFNet 是不做归一化的 ResNet 网络。具体而言,该研究贡献有以下几点:

  • 提出了自适应梯度修剪(Adaptive Gradient Clipping,AGC)方法,基于梯度范数与参数范数的单位比例来剪切梯度,研究人员证明了 AGC 可以训练更大批次和大规模数据增强的非归一化网络。
  • 设计出了被称为 Normalizer-Free ResNets 的新网络,该方法在 ImageNet 验证集上大范围训练等待时间上都获得了最高水平。NFNet-F1 模型达到了与 EfficientNet-B7 相似的准确率,同时训练速度提高了 8.7 倍,而 NFNet 模型的最大版本则树立了全新的 SOTA 水平,无需额外数据即达到了 86.5%的 top-1 准确率。
  • 如果在对 3 亿张带有标签的大型私人数据集进行预训练,随后针对 ImageNet 进行微调,NFNet 可以比批归一化的模型获得更高的 Top-1 准确率:高达 89.2%。

研究方法

在没有归一化的情况下,许多研究者试图通过恢复批归一化的好处来训练深度 ResNet 以提升其准确率。这些研究大多数通过引入小常数或可学习的标量来抑制初始化时残差分支上的激活尺度。

DeepMind 的这项研究采用并建立在「Normalizer-Free ResNet(NF-ResNet)」上,这是一类可以在没有归一化层的情况下,被训练成具有训练和测试准确率的预激活 ResNet。

NF-ResNet 使用如下形式的残差块:

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

其中,h_i 代表第 i 个残差块的输入,f_i 代表由第 i 个残差分支计算的函数。

用于高效大批量训练的自适应梯度裁剪

为了将 NF-ResNet 扩展到更大的批规模,研究者探索了一系列梯度裁剪策略。梯度裁剪通常被用于语言建模中以稳定训练。近来一些研究表明:与梯度下降相比,梯度裁剪允许以更高的学习率进行训练,从而加快收敛速度。这对于条件较差的 loss landscape 或大批量训练尤为重要。因为在这些情况下,最佳学习率受到最大稳定学习率的限制。因此该研究假设梯度裁剪应该有助于将 NF-ResNet 有效地扩展到大批量设置。

借助一种称为 AGC 的梯度裁剪方法,该研究探索设计了 Normalizer-Free 架构,该架构实现了 SOTA 的准确率和训练速度。

当前图像分类任务的 SOTA 大多是 EfficientNet 系列模型 (Tan & Le, 2019)取得的,该系列的模型经过优化以最大化测试准确率,同时最小化参数量和 FLOP 计数,但它们的低理论计算复杂度并没有转化为训练速度的提高。

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

该研究通过手动搜索设计导向来探索模型设计的空间,这些导向对比设备上的实际训练延迟,可带来 ImageNet 上 holdout top-1 的帕累托前沿面的改进。它们对 holdout 准确率的影响如下表 2 所示:

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

实验

表 3 展示了六个不同的 NFNets(F0-F5)与其他模型在模型大小、训练延迟和 ImageNet 验证准确率方面的对比情况。NFNets-F5 达到了 86.0%的 SOTA top-1 准确率,相比 EfficientNet-B8 有了一定提升;NFNet-F1 的测试准确率与 EfficientNet-B7 相媲美,同时训练速度提升了 8.7 倍;NFNet-F6+SAM 达到了 86.5%的 top-1 准确率。

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

NFNets 和其他模型在 ImageNet 数据集上的准确率对比。延迟是指在 TPU 或 GPU(V100)上运行单个完整训练步骤所需要的毫秒时间。

此外,研究者使用了一个 3 亿标注图像的数据集对 NFNet 的变体进行了预训练,并针对 ImageNet 进行微调。最终,NFNet-F4 + 在 ImageNet 上获得了 89.2% 的 top-1 准确率。这是迄今为止通过额外训练数据达到的第二高的验证准确率,仅次于目前最强大的半监督学习基线 (Pham et al., 2020) 和通过迁移学习达到的最高准确率。

抛弃归一化,深度学习模型准确率却达到了前所未有的水平

表 5:使用额外数据进行大规模预训练后,ImageNet 模型迁移性能对比。

Andrew Brock 表示,虽然我们对于神经网络信号传递、训练规律的理解还有很多需要探索的方向,但无归一化的方法已经为人们提供了一个强有力的参考,并证明了发展这种深度理解能力可以有效地在生产环境中提升效率。

深度学习 编程 人工智能
上一篇:华人博士生首次尝试用两个Transformer构建一个GAN 下一篇:IBM拟出售Watson Health后,AI医疗还能不能碰
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

德媒:欧盟拟立法限制滥用人工智能

据德国《法兰克福汇报》网站4月13日报道,人工智能的胜利前进已不可阻挡。新冠疫情尤其让人们关注到这种拥有自我学习能力的系统对医疗体系组织工作的价值。

参考消息 ·  23h前
国内首个!北京拟推进自动驾驶商业化,年内将实现真无人驾驶

乘自动驾驶出租车要付费,无人配送车街上跑,路测拿掉安全员,无人驾驶车上高速……这些即将在北京实现。

南方都市报 ·  1天前
前沿洞察丨无人机送货不迷路的原因竟在这里!

本期前沿洞察为大家带来这些技术:用微观交叉定位,让无人机送货不再找路难;能暴露行动轨迹的智能袜子;基于两束交叉光触发的化学反应实现微米级高精度3D打印......一起来看看吧!

望潮科技 ·  1天前
2021年AI智能摄像机带来的新市场

大流行除了给全球经济带来巨大影响之外,也加速了越来越多的先进技术走向成熟应用,如人工智能(AI)和机器学习(ML),技术时代的到来往往伴随着人类的迫切需求。

蒙光伟 ·  1天前
OpenAI CEO Sam Altman:AI革命即将到来,我们需要新的系统

我们正处于这场技术变革的开端,我们拥有创造未来的宝贵机会。而这不是简单地解决目前的社会和政治问题,它必须为完全不同的社会而设计。

Sam Altman ·  1天前
谈谈基于深度学习的目标检测网络为什么会误检,以及如何优化目标检测的误检问题

在训练人脸检测网络时,一般都会做数据增强,为图像模拟不同姿态、不同光照等复杂情况,这就有可能产生过亮的人脸图像,“过亮”的人脸看起来就像发光的灯泡一样。

刘冲 ·  1天前
值得思考:197亿美金,微软2021年的AI转型之路

4月12日,微软宣布将以每股56美元的价格收购语音识别巨头Nuance,出价达到了197亿美元。

东方林语 ·  1天前
人工智能优先战略将从哪里开始?

人工智能可以为企业带来竞争优势,并释放难以获得的巨大商机。因此,人们需要了解制定有效的人工智能优先策略的6个步骤。

李睿 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载