谷歌开源 GPipe,训练更大模型、不调整超参扩展性能

作者: h4cd 2019-03-06 09:34:19

 谷歌开源了一个分布式机器学习库 GPipe,这是一个用于高效训练大规模神经网络模型的库。

GPipe 使用同步随机梯度下降和管道并行进行训练,适用于由多个连续层组成的任何 DNN。重要的是,GPipe 允许研究人员轻松部署更多加速器来训练更大的模型,并在不调整超参数的情况下扩展性能。

开发团队在 Google Cloud TPUv2s 上训练了 AmoebaNet-B,其具有 5.57 亿个模型参数和 480 x 480 的输入图像尺寸。该模型在多个流行数据集上表现良好,包括将 single-crop ImageNet 精度推至 84.3%,将 CIFAR-10 精度推至 99%,将 CIFAR-100 精度推至 91.3%。

GPipe 可以***化模型参数的内存分配。团队在 Google Cloud TPUv2上进行了实验,每个 TPUv2 都有 8 个加速器核心和 64 GB 内存(每个加速器 8 GB)。如果没有 GPipe,由于内存限制,单个加速器可以训练 8200 万个模型参数。由于在反向传播和批量分割中重新计算,GPipe 将中间激活内存从 6.26 GB 减少到 3.46GB,在单个加速器上实现了 3.18 亿个参数。此外,通过管道并行,***模型大小与预期分区数成正比。通过 GPipe,AmoebaNet 能够在 TPUv2 的 8 个加速器上加入 18 亿个参数,比没有 GPipe 的情况下多 25 倍。

核心 GPipe 库目前开源在 Lingvo 框架下

具体原理可以查看谷歌的发布公告

谷歌 开源 机器学习
上一篇:畅谈机器学习和人工智能的未来 下一篇:深度解析Python深度学习框架的对比
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
谷歌推出新AI工具 可识别常见皮肤状况

5月19日消息,据外媒报道,由于人工智能在医疗保健领域有多种用途,谷歌计划使用人工智能帮助用户了解更多常见的皮肤病。当与智能手机等技术相结合时,这种医学知识可以真正改善个人了解自身健康的方式。

Yu ·  2021-05-31 14:57:13
打破“维度的诅咒”,机器学习降维方法好

机器学习算法因为能够从具有许多特征的数据集中找出相关信息而大火,这些数据集往往包括了几十行的表格或者数百万像素的图像。

水木番 ·  2021-05-31 09:41:17
工业界中的机器学习是什么样子的

本文结合作者十余年的工业界经历,从工业界的视角来尝试给些思考和总结,欢迎大家批评讨论。

龙星镖局 ·  2021-05-31 09:26:01
最喜欢随机森林?TensorFlow开源决策森林库TF-DF

近日,TensorFlow 开源了 TensorFlow 决策森林 (TF-DF)。TF-DF 是用于训练、服务和解释决策森林模型(包括随机森林和梯度增强树)生产方面的 SOTA 算法集合。

机器之心 ·  2021-05-28 17:18:44
人工智能、机器学习和物联网等技术改善健康的7种方式

尽管老生常谈,但我们还是要说:让我们不健康的不是技术,而是我们的生活习惯,事实上,技术可以让我们变得更健康。

佚名 ·  2021-05-28 11:42:58
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载