谷歌大脑新算法,不折腾TPU就能加快AI训练速度

作者: 鱼羊 2019-07-18 08:54:42

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

训练神经网络,硬件要过硬?现在谷歌提出强有力反驳。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度,推助AI迅速成长,在各个领域发挥超能力。

然而,硬件发展再迅速,也总有力有不逮的时候。

比如,由于芯片的架构方式,像数据预处理这样的训练pipeline早期阶段并不会受益于硬件加速器的提升。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

谷歌大脑的科学家们可不希望看到算法掣肘硬件,于是他们研究出了一种名为“数据回放(Data Echoing)”的新技术。

加速神经网络训练速度,这回不靠折腾半导体。

Data Echoing的黑科技

新的加速方法的核心在于减少训练pipeline早期阶段消耗的时间。

按照经典的训练pipeline,AI系统先读取并解码输入数据,然后对数据进行混洗,应用转换扩充数据,然后再将样本收集到批处理中,迭代更新参数以减少误差。

Data Echoing是在pipeline中插入了一个阶段,在参数更新之前重复前一阶段的输出数据,理论回收空闲算力。

如果重复数据的开销可以忽略不计,并且echoing任意侧的阶段都是并行执行的,那么数据回放完成一个上游步骤和e个下游步骤的平均时间就是:

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

假设上游步骤花费的时间大于等于下游步骤花费的时间,你会发现附加的下游步骤是“免费”的,因为它们利用了空闲的下游容量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

data echoing缩短训练时间的关键在于上游步骤和下游步骤之间的权衡。

一方面,重复数据的价值可能会比新数据的价值低,那么data echoing就需要更多的下游SGD(随机梯度下降)更新来达到预期性能。

另一方面,data echoing中每个下游步骤仅需要1/e个上游步骤。

如果下游步骤因回放因子而增加的数量比e小,那么上游步骤的总数就会减少,总的训练时间也就减少了。

需要注意的是,有两个因素会影响在不同插入点处data echoing的表现:

在批处理前回放(echoing)

在批处理之前回放意味着数据是在样本级别而不是批处理级别重复和混洗的,这增加了临近批次不同的可能性,代价是批次内可能会有重复的样本。

在数据扩增前回放

在数据增强之前进行回放,重复数据就可能以不同的方式转换,这样一来重复数据就会更像新数据。

效果如何

研究团队对这一方法进行了实验,他们选择了两个语言模型任务,两个图像识别任务和一个对象检测任务,AI模型都是用开源数据集训练的。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

实验中,“新”训练样本(训练样本从磁盘中被读取出来,就算做一个新的样本)的数目达到指定目标的时间就算作训练的时长。同时,研究人员也会调查data echoing是否减少了所需的样本数量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

除了用ImageNet训练的ResNet-50,data echoing的效率都比基线方法效率高。并且更早地在pipeline中插入echoing,训练所需的新样本会更少。

而随着批量大小的增加,data echoing相对于基线方法的改进会更加明显。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

摩尔定律的黄昏

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

随着摩尔定律走向终结,要依靠芯片制造工艺的突破来实现人工智能算力的提升越来越困难,虽然有硬件加速器加持,但CPU这样的通用处理器依然成为了神经网络训练速度进一步提升的拦路虎。

另辟蹊径,以算法性能来突破重围,正在成为New sexy。

论文地址:https://arxiv.org/abs/1907.05550

谷歌 Android 开发者
上一篇:为什么物联网需要人工智能才能成功? 下一篇:人类看见形状,AI看见纹理:从计算机视觉分类失败谈起
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

无人驾驶的规模化难题

根据近日消息,谷歌系自动驾驶公司 Waymo 向用户发送了一封邮件,称要去掉无人驾驶出租车的安全员角色,这对于整个行业来说足够振奋人心。 不过,根据 Waymo 目前透露出的消息,我们仍然不清楚这家公司到底投入了多大规模的无人驾驶车队。

赵子潇 ·  7h前
谷歌发布含7种语言的全新数据集:有效提升BERT等多语言模型任务精度高达3倍!

近日,谷歌发布了包含 7 种语言释义对的全新数据集,即:PAWS 与 PAWS-X。BERT 通过该数据集的训练,在释义对问题上的精度实现了约为 3 倍的提升。

杨鲤萍 ·  2019-10-10 09:00:00
谷歌高级研究员Nature发文:避开机器学习三大「坑」

本文将介绍谷歌 Accelerated Science 团队在使用机器学习分析时所面临并解决了的三个问题,以说明展示这种做法。

机器之心 ·  2019-08-01 08:15:06
AI更聪明的代价,谷歌承认语音助手泄露用户对话录音

智能语音助手正在成为隐私泄露的下一个重灾区,谷歌和亚马逊均中过招。

镁客网 ·  2019-07-12 16:48:25
谷歌研究人员成功开发了用于自拍摄像头的防脸部失真算法

最近的一项研究指出,每天发布在社交媒体上的自拍照达到了9300万张,每10秒就有10张自拍照被发布到Instagram上。

佚名 ·  2019-06-18 09:05:31
谷歌开源新模型 EfficientNet:图像识别效率提升 10 倍,参数减少 88%

谷歌 AI 的科学家们在论文《EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks》中系统地研究了模型扩展的问题,并提出了新的复合扩展法以及一个更高性能的 EfficientNet。

佚名 ·  2019-06-10 00:45:01
无人自行车开始销售,看完后汽车都不想开了!火爆来袭

谷歌自行车开始预售,别说问你还想不想骑自行车了,我想你连汽车都不想开了,很多网友表示,这样的黑科技出现他们情愿买自行车,也不愿意买汽车了。

微价值库 ·  2019-05-20 13:59:16
谷歌推“同声传译”系统Translatotron:语音翻译无需文本转换

谷歌AI官方博客最新博文中向我们介绍了一项实验性质的新系统--Translatotron,它能够直接将语音翻译成为语音,中间不再需要任何文本。

佚名 ·  2019-05-16 13:42:38
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载