PyTorch称霸顶会:CVPR论文占比是TensorFlow 4 倍

作者: 佚名 2020-06-28 10:16:53

在开源框架领域,PyTorch 与 TensorFlow 之争一直存在,研究人员在写论文时也会有不同的偏向。但近年来,得益于 PyTorch 本身的一些优势,越来越多的学者偏向于选择 PyTorch,TensorFlow 的使用比例也因此逐渐下降。

自 2009 年深度学习再度成为焦点以来,很多机器学习框架成为研究者和业界开发者的新宠。从早期的学术框架 Caffe、Theano 到如今 Pytorch、TensorFlow 这样越来越大规模的开发框架。

发展到 2020 年,我们可以看到国内外越来越多的科技巨头、创业公司都在研发、使用自家的深度学习框架,如国内的也有百度飞桨、华为 MindSpore、旷视天元。

但不得不说,当前最为火热的开源框架,依然是谷歌的 TensorFlow 与 Facebook 手中的 PyTorch。两者之间的竞争,也是社区内津津乐道的话题。

在机器之心往期文章中,我们曾报道,虽然 2018 年 TensorFlow 依然碾压 PyTorch,但自 2019 年以来 PyTorch 的发展可谓是火力全开,特别是在学界,几乎是独领风骚。

这两年,我们从各类自然语言处理(NLP)、计算机视觉(CV)国际学术顶会接收论文中使用 PyTorch 和 TensorFlow 的占比情况,就可以发现这种趋势 。

最近,随着 ICLR 2020 和 CVPR 2020 会议的相继结束,前 PyTorch 实习生、一直致力于研究机器学习领域深度学习框架发展趋势的学者 Horace He 更新了 ICLR 2020 和 CVPR 2020 接收论文中 PyTorch 和 TensorFlow 的使用及相关占比,结果显示:在 ICLR 2020 和 CVPR 2020 会议中,使用 PyTorch 的论文数远超 TensorFlow,研究人员对 PyTorch 的偏爱程度进一步加深。

PyTorch 继续称霸学界

在最新的图表数据中,Horace He 依然以 ICLR 2020 和 CVPR 2020 接收论文中 PyTorch 使用量在 TensorFlow/PyTorch 使用总数中的占比情况,以及 PyTorch/TensorFlow 具体使用数及占接收论文总数的比例为评估指标。

图表的交互版本参见:https://horace.io/pytorch-vs-tensorflow/

ICLR 2020 论文 PyTorch/TensorFlow 使用分析

首先看下 ICLR 2020 接收论文中,PyTorch 使用数在 TensorFlow/PyTorch 使用总数的占比情况:占比超过 50% 则意味着该顶会接收论文中使用 PyTorch 的多于 TensorFlow。

从下图可以看到,在 ICLR 2020 接收论文中,PyTorch 的这一比例达到了 69.80%,相较于 ICLR 2018 的 28.05%、ICLR 2019 的 55.91%,这说明了 ICLR 2020 接收论文中 PyTorch 使用数大大超过了 TensorFlow。

下图更直观地展示了 ICLR 2020 接收论文中,PyTorch 和 TensorFlow 的具体使用数。可以看到,PyTorch 使用了 141 次,而 TensorFlow 使用了 61 次,PyTorch 使用数是 TensorFlow 的两倍还多。并且,PyTorch 使用数多于 TensorFlow 的情况出现在了 2019 年,而在之前 TensorFlow 使用数多于 PyTorch。

PyTorch 和 TensorFlow 各自使用数占接收论文总数的比例如下图所示。可以看到 PyTorch 占比 20.52%,相较于 ICLR 2018 的 6.82%、ICLR 2019 的 14.14% 出现了持续上升;

与此同时,TensorFlow 占比仅为 8.88%,相较于 ICLR 2018 的 17.51%、ICLR 2019 的 11.16% 出现了持续下降。由此可见自 2019 年以来,PyTorch 和 TensorFlow 的使用情况发生了根本性变化。

CVPR 2020 论文 PyTorch 和 TensorFlow 使用分析

首先如下图所示,在 CVPR 2020 接收论文中,PyTorch 使用数在 TensorFlow/PyTorch 使用总数的占比为 79.88%,占比变化情况与 ICLR 2020 会议相似,都呈现出了增长的趋势。

PyTorch 和 TensorFlow 在 CVPR 2020 会议接收论文中出现的具体使用数如下图所示,可以看到 PyTorch 使用了 405 次,TensorFlow 使用了 102 次,PyTorch 使用数是 TensorFlow 的近 4 倍。并且,PyTorch 使用数多于 TensorFlow 的情况同样出现在 2019 年,而在之前 PyTorch 使用数少于 TensorFlow。

下图展示了 CVPR 2020 接收论文中,PyTorch 与 TensorFlow 使用数占接收论文总数的比例,可以看到 PyTorch 占比 27.61%,TensorFlow 占比 6.95%,两者的占比情况变化与具体使用数变化趋势相同,都是在 2019 年出现了转折。

由此可见,在 ICLR 和 CVPR 会议中,PyTorch 与 TensorFlow 的使用数及占比情况在 2019 年发生了根本性变化,自此 PyTorch 的使用数超过了 TensorFlow,占比也不断地增加。

为什么研究者们那么偏爱 PyTorch

今年 4 月份,PyTorch 1.5 宣布上线,对 C++ 前端进行重大更新,并推出了全新的高级自动梯度 API,使用户更方便地执行 jacobian、hessian、jvp 和 vjp 等函数。

而谷歌自 2019 年 10 月推出 TensorFlow 2.0 正式版以来,却被用户吐槽太难用,这不仅表现在缺乏官方指南、详细的说明文档以及来自官方开发团队的答疑,而且本身存在的一些问题,如与 Keras 的整合等。所有这些都迫使一些用户偏向了 PyTorch。

那么,就框架本身来说,为何越来越多的研究者选择在论文中使用 PyTorch 呢?大概可以总结为以下三个原因:

简单。与 numpy 类似,PyTorch 可以很容易地与 Python 生态系统融合。例如,向 PyTorch 模型的任意位置放入一个 pdb 断点,它都可以正常工作。而在 TensorFlow 中,调试模型需要一个激活的会话,最后会变得非常棘手;

优秀的 API。相较于 TensorFlow,多数研究者更喜欢 PyTorch 的 API。部分原因在于 PyTorch 的设计更加合理,还有一部分原因在于:TensorFlow 在将 API 转换多次之后已经自损元气;

性能。尽管 PyTorch 的动态图留给优化的机会非常之少,但有不少非正式报告称 PyTorch 与 TensorFlow 一样快。目前还不清楚这是不是真的,但至少,TensorFlow 在这方面还没有取得决定性优势。

PyTorch 的这些优势或许就是越来越多的学者选择它的理由吧!

PyTorch TensorFlow 机器学习
上一篇:人工智能和物联网如何为建筑行业提供价值 下一篇:Github上值得学习的7个人工智能项目
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能正在改变软件开发模式

软件开发人员正在使用人工智能来帮助编写和审查代码、检测错误、测试软件和优化开发项目。这种帮助正在帮助公司更有效地部署新软件,并使新一代开发人员能够更轻松地学习编码。

Harris ·  1天前
2022 年 AIOPS 趋势和预测:您需要知道的一切

AI与IT运营的这种集成导致了术语AIOps的出现,它利用大数据、分析和AI能力进行IT运营管理。以下是每个人都应该关注的 2022年AIOps趋势和预测。

Cassie ·  3天前
谷歌研究总监赴斯坦福任教,著有《人工智能:一种现代方法》

斯坦福大学宣布谷歌研究总监(Director of Research)Peter Norvig 加入斯坦福以人为本人工智能研究院 HAI,任杰出教育研究员。

机器之心 ·  3天前
人工智能65年简史:从麦卡锡到Hinton,人类追求的AI究竟是什么?

人工智能的发展已有65年的历史,曾经历过寒冬,也经历过辉煌。从符号主义的专家系统到现在所向披靡的神经网络,不少人担心是否寒冬会再来,也有乐观的人表示人工智能的春天也要来了。

佚名 ·  4天前
计算机架构的机器学习

最近机器学习 (ML) 进步的关键贡献者之一是定制加速器的开发,例如Google TPU和Edge TPU,它们显着提高了可用计算能力,从而解锁了各种功能,例如AlphaGo、RankBrain、WaveNets和对话代理。

雨夜的博客 ·  4天前
人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载