PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

作者: 晓查 2019-10-21 13:40:20

关于PyTorch和TensorFlow谁更好的争论,从来就没有停止过。

开源社区的支持度、上手的难易度都是重要的参考。还有人说:学术界用PyTorch,工业界用TensorFlow。

PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

然而还有一项不可忽略的因素,就是二者的实际性能。

没关系,不服跑个分?!

最近,一位来自“Huggingface”的工程师,使用了NLP中的Transformer模型,分别在两大平台上测试了一组推理速度。

虽然Huggingface只是一家创业公司,但是在NLP领域有着不小的声誉,他们在GitHub上开源的项目,只需一个API就能调用27个NLP模型广受好评,已经收获1.5万星。

PyTorch和TensorFlow究竟哪个更快?下面用详细评测的数据告诉你。

运行环境

作者在PyTorch 1.3.0、TenserFlow2.0上分别对CPU和GPU的推理性能进行了测试。

两种不同的环境中具体硬件配置如下:

  1. CPU推理:使用谷歌云平台上的n1-standard-32硬件,即32个vCPU、120GB内存,CPU型号为2.3GHz的英特尔至强处理器。
  2. GPU推理:使用谷歌云平台上的定制化硬件,包含12个vCPU、40GB内存和单个V100 GPU(16GB显存)。

PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

在测试过程中使用本地Python模块的timeit来测量推理时间。每个实验重复30次,然后对这30个值取平均值,获得平均推理时间。

NLP模型的Batch Size设置为分别设置为1、2、4、8,序列长度为8、64,、128、256、512、1024。

测试结果

话不多说,先上跑分结果:

PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

在大多数情况下,这两个平台都能获得相似的结果。与PyTorch相比,TensorFlow在CPU上通常要慢一些,但在GPU上要快一些:

在CPU上,PyTorch的平均推理时间为0.748s,而TensorFlow的平均推理时间为0.823s。

在GPU上,PyTorch的平均推理时间为0.046s,而TensorFlow的平均推理时间为0.043s。

以上的数据都是在所有模型总的平均结果。结果显示,输入大小(Batch Size×序列长度)越大,对最终结果的影响也越大。

当输入太大时,PyTorch会出现内存不足的情况。作者把这些部分从结果中删除,因此这会使结果偏向PyTorch。

总的来说,PyTorch模型比TensorFlow模型更容易耗尽内存。除了Distilled模型之外,当输入大小达到8的Batch Size和1024的序列长度时,PyTorch就会耗尽内存。

至于更完整详细的清单,请参阅文末的Google文档链接。

两大平台的加速工具

除了初步的测试,作者还用上两个平台独有的加速工具,看看它们对模型推理速度有多大的提升。

PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

TorchScript是PyTorch创建可序列化模型的方法,让模型可以在不同的环境中运行,而无需Python依赖项,例如C++环境。

TorchScript似乎非常依赖于模型和输入大小:

使用TorchScript可以在XLNet上产生永久的性能提升,而在XLM上使用则会不可靠;

在XLM上,TorchScript可以提高较小输入时的性能,但会降低较大输入时的性能。

平均而言,使用TorchScript跟踪的模型,推理速度要比使用相同PyTorch非跟踪模型的快20%。

PyTorch&TensorFlow跑分对决:哪个平台运行NLP模型推理更快

XLA是可加速TensorFlow模型的线性代数编译器。作者仅在基于TensorFlow的自动聚类功能的GPU上使用它,这项功能可编译一些模型的子图。结果显示:

启用XLA提高了速度和内存使用率,所有模型的性能都有提高。

大多数基准测试的运行速度提升到原来的1.15倍。在某些极端情况下,推理时间减少了70%,尤其是在输入较小的情况下。

最后,作者还在Google文档的列表里还加入了“训练”选项卡,或许不久后就能看到两大平台上的训练测试对比,唯一挡在这项测试面前的障碍可能就是经费了。

传送门

原文链接:

https://medium.com/huggingface/benchmarking-transformers-pytorch-and-tensorflow-e2917fb891c2

完整跑分清单:

https://docs.google.com/spreadsheets/d/1sryqufw2D0XlUH4sq3e9Wnxu5EAQkaohzrJbd5HdQ_w/edit#gid=0

代码 开发 工具
上一篇:使用机器学习进行数据映射 下一篇:让剁手更便捷,蘑菇街视觉搜索技术架构实践
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

Excel狂魔?单元格做计算机视觉:人脸检测、OCR都不在话下

计算机视觉是什么?过于专业,一步劝退?在普通人看来,计算机视觉是软件开发者才能涉足的领域,需要用到很多专业的框架,普通人只能围观。但 GitHub 上的一个项目似乎颠覆了我们的认知。

佚名 ·  4天前
独家下载!阿里如何用 AI 写代码?

作为今年阿里经济体前端委员会的四大技术方向之一,前端智能化方向一被提及,就不免有人好奇:前端结合 AI 能做些什么,怎么做,未来会不会对前端产生很大的冲击等等。本篇文章将围绕这些问题,以「设计稿自动生成代码」场景为例,从背景分析、竞品分析、问题拆解、技术方案等几个角度切入,细述相关思考及过程实践。

妙净、波本 ·  4天前
2020年,比较适合AI的5种编程语言

AI系统的开发必须有计算机代码,而计算机程序的开发有不同类型的编程语言可以选择。本文分析哪些编程语言最适合你的人工智能或机器学习用例开发。

CSDN App ·  2020-02-13 16:18:50
代码开源!超好用的《机器学习实用指南》第二版终于来了

早在去年的这个时候,红色石头就发文给大家推荐过一本非常棒的机器学习实用指南书籍《Hands-On Machine Learning with Scikit-Learn & TensorFlow》

Author 红色石头 ·  2020-02-11 10:30:32
从工具选择到团队沟通,看ML工程师一步步打造生产级机器学习

为了让机器学习为用户带来真正的价值,我们需要将其部署到生产系统中。人工智能销售软件开发公司 Toucan AI 的 ML 工程师 Marifel 介绍了他们在打造生成级机器学习时所考虑的一些问题,希望这些经验能为你的工作带来帮助。

机器之心 ·  2020-02-06 16:55:02
需要关注的2020年8个人工智能趋势

O'Reilly公司副总裁Roger Magoulas介绍了自动化、硬件、工具、模型开发等方面的新发展,这些趋势将在2020年塑造(或加速)人工智能的发展。

Harris ·  2020-01-23 20:35:05
我花了两年,从不懂Python变成了AI工程师

有一位小哥,从不知道Python到找到AI工程的工作,用时两年。他的文章在网上获得了5000多条点赞。

赖可 ·  2020-01-23 15:26:40
3行代码提速模型训练:这个算法让你的GPU老树开新花

百度和Nvidia研究院结合N卡底层计算优化,提出了一种有效的神经网络训练加速方法,不仅是预训练,在全民finetune BERT的今天变得异常有用。

夕小瑶 ·  2020-01-21 22:23:18
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载