谷歌大脑新算法,不折腾TPU就能加快AI训练速度

作者: 鱼羊 2019-07-18 08:54:42

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

训练神经网络,硬件要过硬?现在谷歌提出强有力反驳。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度,推助AI迅速成长,在各个领域发挥超能力。

然而,硬件发展再迅速,也总有力有不逮的时候。

比如,由于芯片的架构方式,像数据预处理这样的训练pipeline早期阶段并不会受益于硬件加速器的提升。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

谷歌大脑的科学家们可不希望看到算法掣肘硬件,于是他们研究出了一种名为“数据回放(Data Echoing)”的新技术。

加速神经网络训练速度,这回不靠折腾半导体。

Data Echoing的黑科技

新的加速方法的核心在于减少训练pipeline早期阶段消耗的时间。

按照经典的训练pipeline,AI系统先读取并解码输入数据,然后对数据进行混洗,应用转换扩充数据,然后再将样本收集到批处理中,迭代更新参数以减少误差。

Data Echoing是在pipeline中插入了一个阶段,在参数更新之前重复前一阶段的输出数据,理论回收空闲算力。

如果重复数据的开销可以忽略不计,并且echoing任意侧的阶段都是并行执行的,那么数据回放完成一个上游步骤和e个下游步骤的平均时间就是:

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

假设上游步骤花费的时间大于等于下游步骤花费的时间,你会发现附加的下游步骤是“免费”的,因为它们利用了空闲的下游容量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

data echoing缩短训练时间的关键在于上游步骤和下游步骤之间的权衡。

一方面,重复数据的价值可能会比新数据的价值低,那么data echoing就需要更多的下游SGD(随机梯度下降)更新来达到预期性能。

另一方面,data echoing中每个下游步骤仅需要1/e个上游步骤。

如果下游步骤因回放因子而增加的数量比e小,那么上游步骤的总数就会减少,总的训练时间也就减少了。

需要注意的是,有两个因素会影响在不同插入点处data echoing的表现:

在批处理前回放(echoing)

在批处理之前回放意味着数据是在样本级别而不是批处理级别重复和混洗的,这增加了临近批次不同的可能性,代价是批次内可能会有重复的样本。

在数据扩增前回放

在数据增强之前进行回放,重复数据就可能以不同的方式转换,这样一来重复数据就会更像新数据。

效果如何

研究团队对这一方法进行了实验,他们选择了两个语言模型任务,两个图像识别任务和一个对象检测任务,AI模型都是用开源数据集训练的。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

实验中,“新”训练样本(训练样本从磁盘中被读取出来,就算做一个新的样本)的数目达到指定目标的时间就算作训练的时长。同时,研究人员也会调查data echoing是否减少了所需的样本数量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

除了用ImageNet训练的ResNet-50,data echoing的效率都比基线方法效率高。并且更早地在pipeline中插入echoing,训练所需的新样本会更少。

而随着批量大小的增加,data echoing相对于基线方法的改进会更加明显。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

摩尔定律的黄昏

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

随着摩尔定律走向终结,要依靠芯片制造工艺的突破来实现人工智能算力的提升越来越困难,虽然有硬件加速器加持,但CPU这样的通用处理器依然成为了神经网络训练速度进一步提升的拦路虎。

另辟蹊径,以算法性能来突破重围,正在成为New sexy。

论文地址:https://arxiv.org/abs/1907.05550

谷歌 Android 开发者
上一篇:为什么物联网需要人工智能才能成功? 下一篇:人类看见形状,AI看见纹理:从计算机视觉分类失败谈起
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

谷歌解雇伦理学家后三个月,AI伦理研究会议暂停谷歌赞助

ACM公平、责任与透明度大会(FAccT)的会议赞助商联合主席兼Boise State University助理教授Michael Ekstrand于今天证实,该会议已决定中止与Google的赞助关系。

大数据文摘 ·  2021-03-10 23:29:22
机器人会梦见电子羊吗:谷歌 AI 员工离职事件,能看出哪些 AI 伦理问题

对于一个充满黑箱和未知的技术,AI 值得人们探讨的问题还有很多。谷歌是第一家爆发激烈讨论的公司,但它绝不会是最后一家。

脸脸 ·  2021-03-08 07:02:11
AutoML大提速,谷歌开源自动化寻找最优ML模型新平台

为了帮助研究者自动、高效地开发最佳机器学习模型,谷歌开源了一个不针对特定领域的 AutoML 平台。

机器之心 ·  2021-02-21 14:08:15
Jeff Dean万字长文:2020谷歌10大领域AI技术发展

Jeff Dean 发了一篇几万字长文,回顾了这一年来谷歌在各个领域的成就与突破,并展望了 2021 年的工作目标。

新智元 ·  2021-01-18 10:52:55
谷歌大脑提出简化稀疏架构,预训练速度可达T5的7倍

刚刚,Google Brain 高级研究科学家 Barret Zoph 发帖表示,他们设计了一个名叫「Switch Transformer」的简化稀疏架构,可以将语言模型的参数量扩展至 1.6 万亿(GPT-3 是 1750 亿)。

机器之心 ·  2021-01-13 15:16:45
谷歌大脑最新研究:AutoML方式自动学习Dropout模式

深度神经网络往往存在过拟合的问题,需要Dropout、权重衰减这样的正则化方法的加持。

鱼羊 ·  2021-01-11 10:23:22
谷歌:引领ML发展的迁移学习,究竟在迁移什么?丨NeurIPS 2020

近几年来,已经有越来越多的研究者投入到迁移学习中。每年机器学习和数据挖掘的顶级会议中都有关于迁移学习的文章发表。

青苹果 ·  2020-12-22 10:23:31
多任务实现SOTA,UBC谷歌等提出3D点云的无监督胶囊网络

近日,包括 Weiwei Sun、Andrea Tagliasacchi、Geoffrey Hinton 等来自英属哥伦比亚大学、谷歌研究院、多伦多大学的研究者提出了用于 3D 点云的无监督胶囊网络。

杜伟、小舟 ·  2020-12-16 16:21:06
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载