谷歌发布深度学习库TensorFlow Fold,支持动态计算图

作者: 李亚洲、朱思颖译 2017-02-08 17:08:32

在大部分的机器学习过程中,用于训练 (training) 和推理 (inference) 的数据都需要进行数据的预处理,通过预处理将不同的输入数据(例如图像)规整至相同尺寸并进行批(batch)存储。这一步使高性能的深度学习库,例如 TensorFlow,可以并行的处理批存储中的所有输入,且以相同的计算图(computation graph)进行处理。批处理(Batching)利用现代 GPU 和多核 CPU 的单指令流多数据流(SIMD)性能来加速运算执行。但是,当输入数据的尺寸和结构变化时会产生诸多问题,例如在自然语言理解中的解析树(parse tree)、源代码中的抽象语法树(abstract syntax tree)、网页的文档树(DOM tree)等。在这些情况下,不同的输入数据需要不同的计算图,通常这些计算图不能够批存储在一起,导致处理器、存储器以及缓存利用率低。

计算图

今天我们发布 TensorFlow Fold 来解决这些困难。TensorFlow Fold 使得处理不同数据尺寸和结构的深度学习模型更容易实现。不仅如此,TensorFlow Fold 将批处理的优势赋予这些模型,使得这些模型在 CPU 上的运行速度有超过 10 倍的提升,在 GPU 上的运行有超过 100 倍的提升(相比于其他实现方式)。这一提升来源于动态批存储(dynamic batching)技术,在我们的论文中有详细介绍(Deep Learning with Dynamic Computation Graphs)。

以上动图演示了动态批处理运行的递归神经网络。带有同样的颜色的运算聚成一批,这使得 TensorFlow 能够更快的运行它们。Embed 运算将单词转换为向量表征。完全连接(fully connected,FC)运算结合词向量,从而形成段落向量表征。网络的输出是一个完整语句的向量表征。尽管上图只演示了一个语句解析树,但在多种任意形状与大小的解析树上,这个网络同样也能运行并实现批处理运算。

TensorFlow Fold 库首先会为每个输入建立一个独立的计算图。

因为单独的输入可能有不同的大小和结构,计算图也可能是这样。动态批处理自动结合这些图,从而获取在输入内以及整个输入进行批处理机会的优势,并且插入额外的指令在批处理操作之间移动数据。(查看技术细节请参考论文)

想要了解更多,也可以查看我们的 github 网址:https://github.com/tensorflow/fold。我们希望 TensorFlow Fold 能够帮助研究人员与从业者在 TensorFlow 中部署动态计算的神经网络。

论文:DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS

DEEP LEARNING WITH DYNAMIC COMPUTATION GRAPHS

摘要:在包括自然语言处理(解析树)与化学信息学(分子图)在内的多个领域中,在图结构上进行计算的神经网络是解决问题的天然方式。然而,因为每个输入的计算图有不同的形状与大小,所以网络通常不能直接进行批训练或推断。它们也难以部署到流行的深度学习库中,因为这些库是基于静态数据流图的。我们引入了一种称之为动态批处理(Dynamic Batching) 的技术,它不仅能批处理不同输入图(形状也不类似)之间的运算,也能批处理单个输入图内的不同节点。该技术使得我们能够创造静态图、使用流行的库、模仿任意形状与大小的动态计算图。我们进一步展现了组成区块的高层次库,从而简化了创造动态图模型的过程。使用这一库,我们论证了文献中多种模型的简洁且明智的批处理并行实现。

原文:https://research.googleblog.com/2017/02/announcing-tensorflow-fold-deep.html

【本文是51CTO专栏机构机器之心的原创译文,微信公众号“机器之心( id: almosthuman2014)”】

戳这里,看该作者更多好文

谷歌 深度学习 计算图
上一篇:2017年值得关注的人工智能七个热门趋势 下一篇:要用无人驾驶卡车送货?亚马逊申请无人驾驶专利
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

18个挑战项目带你快速入门深度学习

AlphaGo 大战李世?h之后,深度学习技术便在国内变得异常火。吸引了大批的技术人员争相学习,那么到底如何才能更快速的入门深度学习呢?下面给大家介绍的 18 个挑战项目,通过实践动手带你快速入门深度学习!

实验楼 ·  2019-10-10 14:48:19
盘点 | 8个你可能不知道的深度学习应用案例

深度学习与传统机器学习系统的不同之处在于,它能够在分析大型数据集时进行自我学习和改进,因此能应用在许多不同的领域。

天极网 ·  2019-10-10 14:15:18
谷歌发布含7种语言的全新数据集:有效提升BERT等多语言模型任务精度高达3倍!

近日,谷歌发布了包含 7 种语言释义对的全新数据集,即:PAWS 与 PAWS-X。BERT 通过该数据集的训练,在释义对问题上的精度实现了约为 3 倍的提升。

杨鲤萍 ·  2019-10-10 09:00:00
2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
DeepMind一次性开源3个新框架!深度强化学习应用落地即将迎来春天?

深度强化学习(Deep Reinforcement Learning,DRL)一直是近年来人工智能的一些重大突破的核心。然而,尽管 DRL 有了很大的进步,但由于缺乏工具和库,DRL 方法在主流解决方案中仍然难以应用。

杨鲤萍 ·  2019-09-20 09:38:18
一步一步带你完成深度学习与对象检测之人脸识别

要进行人脸识别,就要搜集用户的人脸图片,我们从网站上搜集了几个明星的照片来进行本期文章的分享。此部分文章是人脸识别的第一部分,人脸数据的搜集与提取,后期我们分享人脸识别系统的神经网络训练与人脸识别。

人工智能研究所 ·  2019-09-18 07:20:34
看懂这十步,8岁的小朋友都能理解深度学习

如果对当今人工智能的主流技术——深度学习没有了解,可能真的会有人觉得,当前的科学家们在创造无所不能、无所不知的电影AI形象。那么,如何用最浅显的方式,给大众解释什么是深度学习呢?快来看看吧!

佚名 ·  2019-09-17 16:56:39
PyTorch版《动手学深度学习》开源了,最美DL书遇上超赞DL框架

李沐等人的开源中文书《动手学深度学习》现在有 PyTorch 版实现了。不论是原书中的示例代码,还是实战项目,原来的 MXNet 都可以无缝转化到 PyTorch 代码。

ShusenTang ·  2019-09-17 10:23:45
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载