谷歌大脑新算法,不折腾TPU就能加快AI训练速度

作者: 鱼羊 2019-07-18 08:54:42

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

训练神经网络,硬件要过硬?现在谷歌提出强有力反驳。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

GPU和像谷歌TPU这样的硬件加速器大大加快了神经网络的训练速度,推助AI迅速成长,在各个领域发挥超能力。

然而,硬件发展再迅速,也总有力有不逮的时候。

比如,由于芯片的架构方式,像数据预处理这样的训练pipeline早期阶段并不会受益于硬件加速器的提升。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

谷歌大脑的科学家们可不希望看到算法掣肘硬件,于是他们研究出了一种名为“数据回放(Data Echoing)”的新技术。

加速神经网络训练速度,这回不靠折腾半导体。

Data Echoing的黑科技

新的加速方法的核心在于减少训练pipeline早期阶段消耗的时间。

按照经典的训练pipeline,AI系统先读取并解码输入数据,然后对数据进行混洗,应用转换扩充数据,然后再将样本收集到批处理中,迭代更新参数以减少误差。

Data Echoing是在pipeline中插入了一个阶段,在参数更新之前重复前一阶段的输出数据,理论回收空闲算力。

如果重复数据的开销可以忽略不计,并且echoing任意侧的阶段都是并行执行的,那么数据回放完成一个上游步骤和e个下游步骤的平均时间就是:

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

假设上游步骤花费的时间大于等于下游步骤花费的时间,你会发现附加的下游步骤是“免费”的,因为它们利用了空闲的下游容量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

data echoing缩短训练时间的关键在于上游步骤和下游步骤之间的权衡。

一方面,重复数据的价值可能会比新数据的价值低,那么data echoing就需要更多的下游SGD(随机梯度下降)更新来达到预期性能。

另一方面,data echoing中每个下游步骤仅需要1/e个上游步骤。

如果下游步骤因回放因子而增加的数量比e小,那么上游步骤的总数就会减少,总的训练时间也就减少了。

需要注意的是,有两个因素会影响在不同插入点处data echoing的表现:

在批处理前回放(echoing)

在批处理之前回放意味着数据是在样本级别而不是批处理级别重复和混洗的,这增加了临近批次不同的可能性,代价是批次内可能会有重复的样本。

在数据扩增前回放

在数据增强之前进行回放,重复数据就可能以不同的方式转换,这样一来重复数据就会更像新数据。

效果如何

研究团队对这一方法进行了实验,他们选择了两个语言模型任务,两个图像识别任务和一个对象检测任务,AI模型都是用开源数据集训练的。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

实验中,“新”训练样本(训练样本从磁盘中被读取出来,就算做一个新的样本)的数目达到指定目标的时间就算作训练的时长。同时,研究人员也会调查data echoing是否减少了所需的样本数量。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

除了用ImageNet训练的ResNet-50,data echoing的效率都比基线方法效率高。并且更早地在pipeline中插入echoing,训练所需的新样本会更少。

而随着批量大小的增加,data echoing相对于基线方法的改进会更加明显。

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

摩尔定律的黄昏

谷歌大脑新算法,不折腾TPU就能加快AI训练速度

随着摩尔定律走向终结,要依靠芯片制造工艺的突破来实现人工智能算力的提升越来越困难,虽然有硬件加速器加持,但CPU这样的通用处理器依然成为了神经网络训练速度进一步提升的拦路虎。

另辟蹊径,以算法性能来突破重围,正在成为New sexy。

论文地址:https://arxiv.org/abs/1907.05550

谷歌 Android 开发者
上一篇:为什么物联网需要人工智能才能成功? 下一篇:人类看见形状,AI看见纹理:从计算机视觉分类失败谈起
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

谷歌提出“洗发水”二阶优化算法,Transformer训练时间减少40%

最近,谷歌大脑提出了一种新的二阶预处理方法,带来很大改进,优于SGD、Adam和AdaGrad等一阶算法,缩短了神经网络的训练时间。

晓查 ·  2020-03-27 14:20:55
完胜 BERT,谷歌优秀 NLP 预训练模型开源

近日,谷歌宣布将 AI 语言模型 ELECTRA 作为 TensorFlow 之上的开源模型发布。该方法用到了一种称为替换令牌检测(RTD)的新预训练任务,使其能够在从所有输入位置学习的同时,训练双向模型。

杨鲤萍 ·  2020-03-17 09:42:00
谷歌开源TensorFlow Quantum 让开发者可构建量子AI模型

谷歌日前宣布开源TensorFlow Quantum(TensorFlow的扩展),让开发者能够为量子计算机构建人工智能模型。

至顶网 ·  2020-03-12 12:31:01
突破迁移学习局限!谷歌提出“T5”新NLP模型,多基准测试达SOTA

迁移学习在2018年出现的GPT、ULMFiT、ELMo以及 BERT等成果上初露锋芒,之后又在2019年大显身手,推动了领域内多种新方法的发展,其中就包括XLNet、RoBERTa、ALBERT、Reformer 和 MT-DNN 等等。

丛末、蒋宝尚 ·  2020-02-25 17:30:12
谷歌大脑重磅研究:快速可微分排序算法,速度快出一个数量级

在机器学习中,排序也经常用于统计数据、信息检索等领域。那么问题来了,排序算法在函数角度上是分段线性的,也就是说,在几个分段的“节点”处是不可微的。

鱼羊 十三 ·  2020-02-25 07:00:54
机器学习公平性研究,走在正确的道路上吗?

随着人工智能的发展,机器学习的技术越来越多地被应用在社会的各个领域,来帮助人们进行决策,其潜在的影响力已经变得越来越大,特别是在具有重要影响力的领域,例如刑事判决、福利评估、资源分配等。

丛末 ·  2020-02-07 15:14:23
容量是GPT-2的1.7倍!谷歌打造神经对话模型Meena

谷歌的研究人员认为:开放域对话研究除了是一个引人入胜的研究课题之外,这种对话机制还可以产生许多有趣的应用程序,例如进一步人性化的计算机交互、改进外语练习以及制作可关联的交互式电影和游戏角色。

AI前线小组 译 ·  2020-01-30 14:50:16
AI 不再高大上 更贴近生活

进入到 2020 年,AI 在行业中的发展已经超脱了单纯技术创新和突破的范畴,而是走向产品和产业融合,并由此体现出商业回报价值。由此,AI 的商业化落地,越来越成为衡量一家科技巨头在技术战略、产品规划、生态构建等方面综合实力的关键指标。

I/O ·  2020-01-16 16:18:49
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载