华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

作者: 佚名 2020-03-17 10:01:22

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

没有乘法的神经网络,你敢想象吗?无论是单个神经元的运算还是卷积运算,都不可避免地要使用乘法。

然而乘法对硬件资源的消耗远大于加法。如果不用乘法,全部改用加法应该可以让运算速度大大提升。

去年年底,来自北京大学、华为诺亚方舟实验室、鹏城实验室的研究人员将这一想法付诸实践,他们提出了一种只用加法的神经网络AdderNet(加法器网络)。一作是华为诺亚方舟实习生,正在北大读博三。

华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

如今,这篇文章已经被CVPR 2020收录(Oral),官方也在GitHub上开放了源代码。有兴趣的同学不妨前往一试究竟。

加法器网络简介

加法器网络的核心在于:用L1距离代替欧氏距离

L1距离是求两点之间坐标差值的绝对值之和,因此全程不涉及乘法。

华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

在这种新的定义下,反向传播中用到的求偏导数运算也变成了求减法。梯度下降的优化过程也被叫做符号SGD(signSGD)。

华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

在加法器网络的新定义下,特征向量的空间分布也和CNN有很大的不同。

那么AdderNet的实际效果如何呢?

华为开源只用加法的神经网络:实习生领衔打造,效果不输传统CNN

在CIFAR-10的图像分类任务中,AdderNet相比当初Bengio等人提出的加法神经网络BNN性能有大幅提升,并且已经接近了传统CNN的结果。

开源代码

官方的AdderNet基于Python3和PyTorch。

先按照PyTorch的官方文档准备ImageNet数据集,运行程序评估它在验证集上的效果:

  1. python test.py —data_dir 'path/to/imagenet_root/' 

AdderNet可以在ImageNet数据集上达到74.9%的Top-1准确度和91.7%的Top-5准确度。

或者将CIFAR-10数据集下载到本地,测试一下它在CIFAR-10上的效果

  1. python test.py —dataset cifar10 —model_dir models/ResNet20-AdderNet.pth —data_dir 'path/to/cifar10_root/' 

不过AdderNet仍需自己训练,官方表示将很快发布预训练模型。

现阶段的AdderNet并非没有缺陷,作者在项目主页中说,由于AdderNet是用加法过滤器实现的,因此推理速度较慢,需要用CUDA编写才能提高速度。

这与作者希望提高神经网络运算速度的初衷还有一段距离。

但这篇论文的作者表示,今后还会继续加法器神经网络的研究,发表更多的成果,让我们一起期待这项研究取得新的进展吧。

华为诺亚实验室实习生领衔打造

AdderNet这篇文章的一作名叫陈汉亭,毕业于同济大学数学系,现在在北京大学信息科学技术学院攻读博士学位,同时在华为诺亚方舟实验室实习。

在硕博连读的前三年中,他已经以一作身份发表了5篇论文,其中一篇《Data-Free Learning of Student Networks》被ICCV 2019收录,另外它参与多篇论文还被NeurIPS、IJCAI、ICML等顶会收录。

传送门

源代码:https://github.com/huawei-noah/AdderNet

论文地址:https://arxiv.org/abs/1912.13200

人工智能 神经网络 技术
上一篇:完胜 BERT,谷歌优秀 NLP 预训练模型开源 下一篇:Github最新5大开源机器学习项目!数据计算快至80倍!
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

云计算人工智能的发展显著改善IT安全性

随着数据泄露越来越普遍,IT安全性变得越来越重要。幸运的是,人工智能工具和云计算资源正在提供新的解决方案。

Harris ·  1天前
人工智能在半导体市场的发展潜力及其意义

IHSMarkit在本周发布的一项人工智能应用调查中预测,到2025年,人工智能应用将从2019年的428亿美元激增至1289亿美元。

佚名 ·  1天前
沙发变身遥控器,涂鸦里藏PCB,MIT技术宅的智能家居竟然是这样

把墙壁、沙发、柱子或者家中任何东西,埋进电路和传感器,整个房子也就被改造成了大型PCB电路板,每一条线路、每一个节点、每一个控制装置,都嵌入到房间自身的装修中,像个变色龙一样,你再也看不到突兀的开关了。

鱼羊 郭一璞 ·  1天前
马云:机器不可能取代人类!那会取代什么呢?

在上海纽约大学2020届毕业生典礼上,阿里巴巴创始人马云表示,“机器是不可能取代人类的”。那什么会被取代呢?

月初 ·  1天前
人工智能的三大领域及其工业应用

在本文中,我将解释人工智能技术的三个主要方向,即语音识别,计算机视觉和自然语言处理。

工业应用 ·  1天前
2020年十大人工智能趋势

人工智能在工作场所中崛起以支持和维持数字化劳动力的趋势是2020年的明显趋势。人工智能,机器学习,神经网络或其他任何花哨的术语行业都应运而生,它被定义为复杂的计算机技术,被广泛用于理解和改善业务和客户体验。

闻数起舞 ·  1天前
人工智能项目:需要注意的七件事

维度R的一份报告显示,十分之八的AI失败了,而96%的AI则在标注,标明和建立模型置信度方面遇到了问题。以下是人工智能项目失败的7个常见原因。

闻数起舞 ·  1天前
2020年第一季度人工智能的最新进展

人工智能曾经只是科幻小说,是计算世界的遥不可及的梦想,如今已成为现实。 人工智能,简称AI,是用来描述机器模拟人类智能的能力。

闻数起舞 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载