华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

作者: 乾明 金磊 2020-05-20 10:25:43

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

美国持续封锁,华为的技术自研,已经深入到了AI底层算法层面上,并开始将研究成果面向业界开源。

刚刚,华为诺亚实验室开源Disout算法(地址在文末),直接对标谷歌申请专利的Dropout算法

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

而且,在多项任务上,华为的新算法都超过了Dropout。比如,在ImageNet上训练的ResNet-50可以达到78.76%的准确率,而谷歌Dropout系列方法仅为76.8%。

这一算法背后的论文,已被AAAI 2020收录,并对外公开。华为到底提出的Disout到底如何,也得以呈现。

华为自研Disout:多项AI任务超越Dropout

在申请专利时,谷歌将Dropout定义为“解决神经网络过拟合的系统和方法”。

其核心的思路是,训练神经网络前向传播过程中,Dropout能让某个神经元的激活值以一定的概率p停止工作,也就是“Drop”(丢弃),提升模型稳定性,来缓解过拟合现象。

Disout是提出的新型替代方案,是一种通过研究特征图扰动来增强深度神经网络的泛化能力的方法。

简单来说,就是根据网络中间层的Rademacher 复杂度(ERC),确定给定深度神经网络的泛化误差上界。

并将扰动引入特征图,来降低网络的Rademacher复杂度,从而提高其泛化能力。

它们之间的区别可以用下面这张图来展示——也就是对输出特征进行扰动,而不是丢弃。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

相比之下,华为的方法效果更好。

Disout不但在传统视觉任务上表现优异,超越谷歌Dropout性能,在NLP任务以及语音处理任务上,同样具备有效性。

接下来,就让我们一起看下Disout在各个数据集上与Dropout系列方法的对比。

首先,CIFAR-10的和CIFAR-100数据上的测试准确率对比。

全连接层实验中,华为所提出的特征图扰动方法,训练CNN达到85.24%的准确度,相比于最新的RDdrop方法,测试准确率分别在CIFAR-10和CIFAR-100数据集上提高了2.13%和1.58%。

华为研究人员表示,他们提出的Disout方法可以有效地降低经验Rademacher的复杂度,同时保留模型的表示能力,从而具有较好的测试性能。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

在卷积层实验上,华为的方法可以适用于卷积层,提高深度神经网络的性能,而且优于DropBlock方法,性能分别提高了0.32%和0.63%。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

ImageNet 数据集实验中结果也显示,华为提出的特征扰动方法不仅可以替换常规的dropout方法提高深度神经网络的性能,而且可以提升最近提出的Dropblock方法的性能。

与传统的dropout方法相比,Disout将准确性从76.80%提高到77.71%,Block Disout方法达到了78.76%的top-1准确率,超过其他现有技术。

华为研究人员说,他们的方法可以在提高泛化能力并保留原始特征的有用信息。

此外,他们还在文本数据集IMDB和语音数据集UrbanSound8k上进行了实验,结果如下(上为文本、下为语音):

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

核心突破:对输出特征进行扰动,而不是丢弃

那么,具体又是如何做到的呢?我们一起来了解一下泛化理论

泛化理研究的是期望风险与经验风险之间的关系。

以图像分类任务为例,总体期望风险R(fL)和训练集上的经验风险

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

是:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

Rademacher经验复杂度(ERC)被广泛用于量化期望风险和经验风险之间的差距,它的定义如定义1所示。

定义1:给定由分布Q成的个实例D= {(x,y)}的给定训练数据集,网络的经验Rademacher复杂度定义为:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

其中Rademacher变量是{-1,+ 1}中的独立统一随机变量。

使用经验Rademacher复杂度和MaDiarmid不等式,可以通过定理1得出预期风险的上限。

定理1:给定 >0,对任意>0,至少以概率1−,对于所有的∈,满足

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

根据定理1,研究人员发现,期望风险和经验风险之间的差距,可以借助特定神经网络和数据集上的经验Rademacher复杂度加以限制。

直接计算ERC比较难,因此通常在训练阶段使用ERC的上限或近似值,来获得具有更好泛化的模型。

了解完泛化理论,就来看下特征图扰动

研究人员通过减少网络的ERC来学习特征图的扰动值,而不是固定扰动值。

通常,对具有输入数据xi的第l层的输出特征fL(xi)所采用的干扰操作可以表示为:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

其中,εli是特征图上的扰动 。

上面的等式中扰动的形式是在ERC指导下自行学习得到的。由于ERC是通过网络最后一层的输出计算出来的,直接使用它来指导扰动将非常困难。

因此,研究人员使用以下定理,通过网络中间层的输出来间接表达网络的ERC:

定理 2 用Kl[k;:]表示权重矩阵Kl的第k行 ||・||p是向量的 p-norm。假设|| Kl[k;:] ||p ≤ Bl,网络输出的ERC 可以被中间特征的ERC限制:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

o 和 f 分别是在激活函数之前和之后的特征图。令:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

则:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

那么,最优的扰动,就可以通过求解下式得到:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

直观地, 过于剧烈的扰动将破坏原始的特征并降低网络的表示能力;而过小的扰动不能很好地起到正则化效果。

算法如下所示:

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

实习生一作,华为诺亚实验室出品

这篇论文,一共有7名研究人员,分别来自北京大学、华为诺亚和悉尼大学,核心团队来自华为诺亚实验室。

华为突破封锁,对标谷歌Dropout专利,开源自研算法Disout

一作是北京大学的唐业辉,这一研究是他在华为诺亚实验室实习期间完成。

二作是王云鹤,华为诺亚方舟实验室技术专家,也是唐业辉实习时的导师。

毕业于北京大学,在相关领域发表学术论文40余篇,包含NeurIPS、ICML、CVPR、ICCV、TPAMI、AAAI、IJCAI等。

主要从事边缘计算领域的算法开发和工程落地,研究领域包含深度神经网络的模型裁剪、量化、蒸馏和自动搜索等。

其他作者有来自华为诺亚实验室的许奕星、许春景、北京大学的许超等人。

如果你对这项研究感兴趣,请收好传送门:

开源链接:https://github.com/huawei-noah/Disout

 
华为 谷歌 开源
上一篇:未来的人工智能,不一定都是善意的 下一篇:百度CTO王海峰:飞桨深度学习平台是新基建的重要一环
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

华为机器视觉连发16项新品,开辟千亿安防新战场

2020年伊始,华为安防将品牌名改为更具科技感的“华为机器视觉”,同时大举发力安防分销市场。而后,华为Holosens Store算法网购商城也正式上线,这标志着摄像机已经开始经历手机变革为“智能手机”的时刻。

佚名 ·  4天前
终于!华为将下一代摄像机做的不像摄像机

日前,安防行业发生了两件大事。对于安防龙头来说,这是个黑色星期一,因大股东计划减持2%的公司股份,以当天的收盘价计算,拟减持金额约56亿,导致安防龙头股价收跌6.61%,一天之内,185亿市值蒸发殆尽。而同时,同城的华为安防举行了HoloSens下一代摄像机暨2020新品发布会,强势推出六大新品加十大解决方案,千万人次围观,燃爆整个行业。

佚名 ·  4天前
扑面而来的机器视觉风潮

在5月25日杭州举办的华为HoloSens下一代摄像机暨2020年新品发布会上,段爱国和他的团队带来了六大新品,包括全新的下一代“四无”生态型摄像机以及超高密智能视频存储平台、AI超微光卡口摄像机、双光谱热成像摄像机、AI双模球型摄像机和5G摄像机等,以及精准覆盖重点场景的十大场景化解决方案。

佚名 ·  4天前
科技巨头抢滩自动驾驶的背后,哪些是你不知道的事?

自动驾驶系统由以下三大系统组成:感知、决策、执行,目前,感知层主要是采用传感器技术,在获取感知数据后,系统会针对数据进行分析、决策和预测,然后完成相应的操控动作。

大脸肥飞猫 ·  4天前
BAIR最新RL算法超越谷歌Dreamer,性能提升2.8倍

pixel-based RL 算法逆袭,BAIR 提出将对比学习与 RL 相结合的算法,其 sample-efficiency 匹敌 state-based RL。

Aravind Srinivas ·  4天前
化身阿凡达,国外小哥开源 AI 实时变脸工具 Avatarify

疫情期间,很多人都在用 Zoom 和 Skype 等软件进行视频会议。国外一位开发小哥觉得这样开会太无聊,于是基于 first-order-model 开发了一个能够把别人的照片套在自己脸上的“变脸”软件 Avatarify,并将其开源。

OSC神秘老司机 ·  2020-05-27 09:56:41
Σco时间 | 把握新趋势,湖南智慧校园转型加速时

日前,在#Σco时间#直播平台上举办了以“把握新趋势,湖南智慧校园转型加速时”为主题的线上研讨会,华为湖南政企业务教育行业技术总监谢传亮、苏迪科技产品与解决方案总监刘传先等嘉宾出席会议,通过主题演讲全方位展示了华为以“5G+AI”方案为高校数字化转型之路筑基的战略愿景以及新趋势下一网通办的解决方案。

张洁 ·  2020-05-22 11:41:40
谷歌用AI训练“耳机线”,实现了触摸屏大多数功能

谷歌AI工程师开发了一款电子交互式编织物(E-Textile),可以让人通过捏、搓、握、拍等手势实现以往触摸屏的大部分功能。

梅宁航 ·  2020-05-22 09:45:24
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载