性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

作者: 乾明 2020-01-18 16:09:31

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

在相同准确率下,实际参数量的压缩,相对之前方法最大可以提高超120倍。

这就是滴滴实习生提出的自动结构化减枝压缩算法框架带来的性能提升,名为AutoCompress

核心在于自动化的去寻找深度模型剪枝中的超参数,去除模型中不同层的参数冗余。

在CIFAR和ImageNet数据集的大量测试表明,AutoCompress的效果显著超过各种神经网络压缩方法与框架。

这一研究也被AAAI2020接收。

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

研究人员表示,这一研究能替代人工设计的过程,并实现超高的压缩倍率,满足嵌入式端上运行深度模型的实时性能需求。

他们是如何实现的?我们下面一一解读。

自动化设置深度模型剪枝中的超参数

近年来,随着深度神经网络模型性能不断刷新,模型的骨干网络参数量愈发庞大,存储和计算代价不断提高,从而导致难以部署在资源受限的嵌入式平台上。

深度神经网络模型压缩技术,成为解决这一问题不可或缺的关键,也成为近年来研究热点之一。

也出现了不少方法,其中之一便是结构化剪枝(structured pruning),能够在平台层面上,解决硬件执行效率低,内存访问效率差,计算平行度不高问题,从而受到了学术界与工业界的重视。

但它也有“硬伤”,在算法实现过程中涉及到到大量的超参数设置。比如如何确定模型的压缩维度,或者如何确定模型中每层的压缩比例等等。

这都需要专家们一点点“掉头发”地去设计指导,而且人工上去设计这些超参数的过程冗长且复杂。

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

效果也不一定好,毕竟这在很大程度上还依赖于相关人员的参数调节经验。

然后就有研究人员心思开始活泛起来了,能不能自动设置超参数?如果实现了,将能够大幅度提高算法实现效率,想想都挺让人激动。

于是就有人开始干起来了,比如MIT、CMU和谷歌的研究学者们提出了一种名为AMC的方法,利用了深度增强学习(Deep Reinforcement Learning (DRL))的方法去决策每层的剪枝比例。

虽然实现了自动化调参的设想,但也有一些局限性。

一方面,这个研究只采用了单一的输出通道(filter)剪枝维度;另外一方面,为了得到稀疏化模型,其所采用的剪枝方法仅仅是在模型训练过程中引入一个静态的正则项。

但更深层次的局限性在于,其所采用的基于DRL框架的剪枝方法,本质上与剪枝问题难以兼容。在结果中,最高压缩率只有非结构化(non-structured)的5倍压缩倍率。

滴滴的研究中,改进了这些不足,提出了一个通用流程(generic flow),专门用于神经网络权重剪枝问题超参数设置自动化过程。

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

整体上,一共分为4步。先是行为抽样(步骤1),然后快速评估(步骤2),接着确定决策(步骤3),最后是剪枝操作(步骤4)。

基于上述通用流程,并针对之前方法的局限性,通过综合现有的深度神经网络与机器学习框架,他们实现了目前最高效的深度神经网络自动化结构化剪枝的通用框架,并命名AutoCompress。

实际参数量的压缩,最大能提高120多倍

那AutoCompress是如何工作的呢?论文中提到了三大新的设计:

(1)提出混合型的结构化剪枝维度;(2)采用高效强大的神经网络剪枝算法ADMM(交替乘子优化算法)对训练过程中的正则项进行动态更新;(3)利用了增强型引导启发式搜索的方式进行行为抽样。

基于这些新设计,他们提出的框架是这样的:

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

整体上来说,AutoCompress框架进行模型自动化剪枝主要有两个步骤,先是通过基于ADMM算法的结构化剪枝,得到权重分布结构性稀疏化的模型;

然后通过网络结构净化(Purification)操作,将ADMM过程中无法完全删除的一小部分冗余权重找到并删除。

值得注意的是,这两个步骤都是基于相同的启发式搜索机制。

举例来讲,给定一个原始模型,他们会设置两种目标函数——根据权重数量设置或根据运算量(FLOPs)设置。

搜索过程进行若干轮,比如第一轮目标为压缩两倍权重数量,第二轮为压缩四倍权重数量。在每一轮搜索过程中,首先初始化一个行为(超参数),然后每次对行为进行一个扰动(超参数的小幅变化)生成新的行为。

根据模拟退火算法原理,评估两个行为,如果新的行为评估结果优于原结果则接受该行为,如果新的行为评估结果劣于原结果则以一定概率接受该行为。

每一轮算法中的温度参数T会下降,直到T下降到某个阈值后即停止搜索。最后,根据搜索得到的超参数,对神经网络进行结构化剪枝操作。

效果如何?他们也进行了测试:

在VGG-16在CIFAR-10数据集上,结构化剪枝压缩率高达52.2倍,无精度损失,在 Samsung Galaxy S10智能手机上测试(使用代码生成优化版编译器),其运行速度为2.7ms。

ResNet-18在CIFAR-10数据集上更是达到了54.2倍结构化剪枝压缩率无精度损失。

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

相比之前的方法,如果考虑到ResNet-18与ResNet-50本身的大小差距,可以在准确率有所上升的情况下比之前的方法减小120倍权重参数。

在ImageNet数据集上,VGG-16达到了6.4倍结构化压缩率,精度损失仅为0.6%,ResNet-18达到了3.3倍的结构化压缩率,无精度损失。

而且, AutoCompress框架也可以应用于非结构化剪枝,其压缩结果使ResNet-50在ImageNet数据集上可以做到9.2倍无精度损失的压缩,更能达到17.4倍的压缩率,仅损失0.7%的精度。

所以,他们得出结论,与其他方法相比,AutoCompress的效果超过各种神经网络压缩方法与框架,得到的高效神经网络模型可以在嵌入式移动系统中实现实时推理运算。

滴滴AI Lab实习生

研究的第一作者,名为刘宁,是美国东北大学的在读博士生,师从美国东北大学王言治教授。

高中时曾获得北京市高中物理竞赛二等奖,本科是电子信息工程专业,曾获得全国大学生物联网竞赛三等奖。

2015年在雪城大学获得硕士学位。这次介绍的研究,是他2019年在滴滴实习时的成果之一,实习导师是滴滴智能控制首席科学家唐剑。

性能提升最高120倍!滴滴实习生提出自动结构化减枝压缩算法框架

在滴滴实习之前,他也在网易、360实习过。

根据滴滴的报道,他也谈到了自己的研究规划:希望继续在深度学习模型压缩、设计上深入研究,把学习到的知识和研究成果应用到现实场景。

目前,这个框架已经在滴滴已经得到了实际有效应用。

AI 数据 人工智能
上一篇:喧嚣背后,餐饮机器人的2020会好过吗? 下一篇:约会软件上的小姐姐,其实是StyleGAN生成的假人
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI人工智能正在悄悄的操控着我们的所见所想

在日常生活中大家现在已经越来越依赖手机上各种形形色色的app了,无论我们是出门吃饭时寻找餐厅,还是在视频语音聊天,刷视频,或是网上购物shopping,无时无刻我们都离不开手机APP。

软件说明 ·  1天前
AI 崛起的第九个年头,还有哪些大有可为的地方?

2020年还剩下10个月的时间,让我们去预期,人工智能会有哪些重要的趋势呢? CB insights曾就此问题做了一个判断,并给出人工智能的九个重要研究和应用趋势。AI 科技评论在一定程度上认同这些判断,针对这 9 个趋势,我们将做以下分析。

蒋宝尚 ·  1天前
AI芯片为啥至今都没有出现“爆款”?

“AI芯片”这个新鲜的概念在过去一年间逐渐走过了普及的阶段,越来越被大众所熟知。在行业走过野蛮生长,开始加速落地、加速整合的过程中,也有更多的AI芯片公司也开始走出属于自己的差异化路线。

佚名 ·  1天前
拥有30亿张照片库的人脸识别初创公司遭黑客攻击!600多家执法机构和银行信息被盗

Clearview AI是美国纽约的一家AI面部识别创业公司Clearview设计的一款突破性的面部识别应用工具,通过拍摄陌生人的照片,然后将其上传,就可以轻松查看该人的公开照片,以及指向这些照片出现位置的链接和具体内容。

张佳、王汐 ·  1天前
数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
人工智能如何改造旅游业

旅游业正在慢慢地将人工智能融入到行业当中,并为游客提供个性化定制体验。在人工智能的帮助下,旅游业的业务流程和客户服务都发生了改变。

佚名 ·  1天前
人工智能技术如何将人们从深度伪造的世界中拯救出来

如今,采用深度伪造(Deepfake)生成的视频和音频,人工智能生成的文本、诗歌和歌词,假网站和假新闻进入人们的世界。人们的生活还会真实吗?

Mike Elgan ·  1天前
四种使用物联网和人工智能加速获取价值的有效方法

最近,话题转向企业如何才能更快,更有效地获取和利用物联网计划的见解。物联网和人工智能的结合为企业实现这一预期成果提供了途径。实际上,这两种技术是相辅相成的,应该紧密相连。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载