谷歌开源 GPipe,训练更大模型、不调整超参扩展性能

作者: h4cd 2019-03-06 09:34:19

 谷歌开源了一个分布式机器学习库 GPipe,这是一个用于高效训练大规模神经网络模型的库。

GPipe 使用同步随机梯度下降和管道并行进行训练,适用于由多个连续层组成的任何 DNN。重要的是,GPipe 允许研究人员轻松部署更多加速器来训练更大的模型,并在不调整超参数的情况下扩展性能。

开发团队在 Google Cloud TPUv2s 上训练了 AmoebaNet-B,其具有 5.57 亿个模型参数和 480 x 480 的输入图像尺寸。该模型在多个流行数据集上表现良好,包括将 single-crop ImageNet 精度推至 84.3%,将 CIFAR-10 精度推至 99%,将 CIFAR-100 精度推至 91.3%。

GPipe 可以***化模型参数的内存分配。团队在 Google Cloud TPUv2上进行了实验,每个 TPUv2 都有 8 个加速器核心和 64 GB 内存(每个加速器 8 GB)。如果没有 GPipe,由于内存限制,单个加速器可以训练 8200 万个模型参数。由于在反向传播和批量分割中重新计算,GPipe 将中间激活内存从 6.26 GB 减少到 3.46GB,在单个加速器上实现了 3.18 亿个参数。此外,通过管道并行,***模型大小与预期分区数成正比。通过 GPipe,AmoebaNet 能够在 TPUv2 的 8 个加速器上加入 18 亿个参数,比没有 GPipe 的情况下多 25 倍。

核心 GPipe 库目前开源在 Lingvo 框架下

具体原理可以查看谷歌的发布公告

谷歌 开源 机器学习
上一篇:畅谈机器学习和人工智能的未来 下一篇:深度解析Python深度学习框架的对比
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

对象存储适合人工智能和机器学习的三个原因

如今,各种类型的企业都致力于采用人工智能和机器学习项目,但要发挥其真正的潜力,则需要克服重大的技术障碍。虽然计算基础设施通常是重点,但存储设施也同样重要。

Gary Ogasawara ·  1天前
机器学习:有监督和无监督之间有什么区别

机器学习是人工智能的一个子集,它通过示例和经验教会计算机执行任务,是研究和开发的热门领域。我们每天使用的许多应用程序都使用机器学习算法,包括AI助手,Web搜索和机器翻译。

AI国际站 ·  1天前
机器学习的七原罪

机器学习是一种伟大的工具,正在改变着我们的世界。 在许多伟大的应用中,机器(尤其是深度学习)已被证明优于传统方法。 从用于图像分类的Alex-Net到用于图像分割的U-Net,我们看到了计算机视觉和医学图像处理领域的巨大成功。 不过,我看到机器学习方法每天都在失败。 在许多这样的情况下,人们迷上了机器学习的七大罪过之一。

闻数起舞 ·  1天前
为ML模型注入灵魂:基于MVP的超简单部署方案

开发一个出色的机器学习模型是一件棘手的事,但即使开发完成也不意味着工作的结束。在部署之前,它仍然毫无用处,他人可以轻易访问。

读芯术 ·  1天前
可再生能源与机器学习“双重加持”,谷歌成功实现风力预测

从传统角度看,电力电场的发电能力普遍较弱,因为我们至今很难预测无形无相的风,会在新一天中表现出怎样的活动趋势。

佚名 ·  1天前
明确解释:机器学习与统计建模有何不同

这篇文章提出了一个非常重要的区别,我们应该将其理解为数据科学领域的活跃部分。 上面的维恩图最初是由SAS Institute发布的,但是它们的图显示统计和机器学习之间没有重叠,据我所知,这是一个疏忽。

闻数起舞 ·  1天前
不用任何数学方法,如何计算圆面积

借鉴统计学习和机器学习的核心原理,我们可以使用蒙特卡罗模拟和多项式/二次回归来创建基于计算的方法,以找到圆的面积公式。

机器之心 ·  2天前
2020年十大人工智能趋势

人工智能在工作场所中崛起以支持和维持数字化劳动力的趋势是2020年的明显趋势。人工智能,机器学习,神经网络或其他任何花哨的术语行业都应运而生,它被定义为复杂的计算机技术,被广泛用于理解和改善业务和客户体验。

闻数起舞 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载