机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

作者: Andrej Karpathy 2017-04-10 18:00:11

开玩笑地说,现在提交论文的主题是不是应该围绕把全卷积编码器解码器BatchNorm ResNet GAN应用于风格迁移,用 Adam 进行优化?

你是否使用过 Google Trends?相当的酷,你在里面输入关键词,看一下谷歌搜索中这一词条如何随时间变化的。我想,过去 5 年中 arxiv-sanity 数据库中刚好有 28303 篇机器学习论文,为什么不做一些类似的工作,看一下过去 5 年机器学习研究有何进化?结果相当的有趣,所以我把它贴了出来。

arXiv 奇点

首先,让我们看一下在 arxiv-sanity 类别下(cs.AI、cs.LG、cs.CV、cs.CL、cs.NE、stat.ML)所递交论文的总数。随时间变化,得出以下结果:

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

是的,2017 年 3 月,该领域有几乎 2000 篇论文被提交。这一峰值可能是由于大会截止日期(例如 NIPS/ICML)。注意,这不是关于该领域自身体量的一个直接说明,因为不是每个人都会把论文提交到 arXiv 上,而且研究人员做研究的分类也会随时间变化。但有一点可以说明,人工智能领域正有大量论文被发现、浏览、阅读。

把论文的总量做为分母,我们现在看一下有多少比例的论文包含确切的关键词。

深度学习框架

作为热身,我们先看一下深度学习框架。为了计算这个关键词,我们记录了在全部文本中的某处提到框架名的论文以及其比例(任何地方,包括 bibiliography 等)。在 2017 年三月份提交的论文中,我们得出了下面的结果:

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

也就是说,2017 年 3 月提交的论文中 10% 提到了 TensorFlow。当然,不是每篇论文都宣布使用了该框架,如果我们假设那些提到框架的论文都有一定概率使用该框架,那看起来社区中有 40% 的人在使用 TensorFlow(或者更多,如果你把带有 TF 后端的 Keras 也算在内)。下面是更多框架随时间变化的图绘:

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

我们能看到 Theano 已经出现很长时间了,但其增长趋于停滞。Caffe 在 2014 年有急剧的增长,但在过去几个月被 TensorFlow 超越。Torch(以及最近的 PyTorch)也在攀爬阶段,缓慢却稳定。接下来几个月的发展值得注意,我个人的猜测是 Caffe/Theano 将继续缓慢的衰退,TensorFlow 也会因为 PyTorch 出现,增长速度变的更慢。

ConvNet 模型

接下来看一下常见的 ConvNet 模型。下图中,我们能清楚的看到 ResNet 的涨幅,直到三月份所有论文的 9% 提到了它。

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

还有,在 InceptionNet 之前谁在讨论「inception」?对此也很好奇。

优化算法

在优化算法方面,看起来 Adam 正在流行,所有论文中 23% 提到了 Adam。实际使用的比例难以估计,但可能要比 23% 高,因为一些论文没有公布用到的优化算法,而且一批论文可能没优化任何神经网络。然后它可能还低了 5%,也就是 Adam「隐藏」在背后,可能与作者的名字冲突,因为 Adam 优化算法到了 2014 年 12 月才发布。

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

研究人员

我们对深度学习中一些重要人物出现的比例也很好奇,所以进行了绘图。这有点类似于引用量,但它要比论文非零即一的统计更为稳健,而且对所有的论文进行了标准化。

可以注意的:所有提交的论文中 35% 提到了「bengio」,但研究人员中有两个 Bengio:Samy 和 Yoshua,在此图中是合并统计的。特别提到的一点,在所有新论文中有超过 30% 提到了 Geoff Hinton,看起来非常的多。

热词或非关键词

最后,除了手动查阅的关键词类别,让我们看一下一些热词或不热的关键词。

顶级热词

有很多方式可对此进行定义,但该实验中我观察了所有论文中的单字母组合或双子母词组,并记录了相比于去年最大使用量的比例。超越此标准的论文就是一年前还是有潜力的,但在今年就有相当高关联频率的论文。列表如下:

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

例如,ResNet 的比例是 8.17。因为一年前它在所有提交论文中出现的比率是 1.044%(2016 年 3 月),但今年 3 月它出现的比例是 8.53,所以 8.53 除以 1.044 约等于 8.17。所以得出的结果是,过去一年所有的核心创新领域是 1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm,在研究中多使用下这些模型。在研究兴趣方面,我们看到 1) 风格迁移,2) 深度强化学习,3) 神经机器翻译,以及 4) 图像生成。在架构上,热于使用 1) 全卷机网络 (FCN),2) LSTMs/GRUs,3) Siamese 网络,以及 4) 编码器-解码器网络。

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

顶级但不热

相反的一面呢?过去一年有哪些词有较少的提交,但历史上有更高的比例?下面列出了一些:

机器学习研究趋势分析:TensorFlow已超越Caffe成研究最常用框架

我不太确定「fractal」指代什么,但更普遍的可能是贝叶斯非参数在被攻击。

结论

现在提交论文的主题应该围绕把全卷积编码器解码器 BatchNorm ResNet GAN(Fully Convolutional Encoder Decoder BatchNorm ResNet GAN)应用于风格迁移,用 Adam 进行优化。听起来也不那么不靠谱。

机器学习 Google TensorFlow
上一篇:OpenAI\"巧妙\"发现无监督情感神经元,可利用文本检测用户情感 下一篇:深度学习在自然语言处理中的应用
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

机器学习转化为生产力,警惕这4个常见陷阱!

几乎每个人都想在他们的业务中引入机器学习,但是这些人也遇到了一个大问题:让模型可持续发展十分困难,尤其是在云架构的基础上。medium上一位博主也指出了这个问题,并提出了将机器学习模型投入生产的4个常见陷阱。

大数据文摘 ·  13h前
500亿参数,支持103种语言:谷歌推出「全球文字翻译」模型

由于缺乏平行数据,小语种的翻译一直是一大难题。来自谷歌的研究者提出了一种能够翻译 103 种语言的大规模多语言神经机器翻译模型,在数据丰富和匮乏的语种翻译中都实现了显著的性能提升。

机器之心 ·  1天前
机器学习免费跑分神器:集成各大数据集,连接GitHub就能用

搞机器学习的小伙伴们,免不了要在各种数据集上,给AI模型跑分。现在,Papers with Code (那个以论文搜代码的神器) 团队,推出了自动跑分服务,名叫sotabench,以跑遍所有开源模型为己任。

栗子 鱼羊 ·  1天前
大数据为什么不够聪明?机器要如何走向强人工智能

大数据为什么不够聪明?比概率语言更强大的思考工具是什么?科幻电影中的强人工智能到底怎样实现?如何让智能机器像人一样思考?搞清楚因果关系才能拨云见日。

明日情报 ·  1天前
2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对方借鉴,但是都不太理想。

大数据文摘 ·  2天前
机器学习帮你预测电池寿命:精确了解电池还能充几次

电池寿命的确定,是移动硬件发展的重要一环,但是由于电池电化学反应的不确定性以及不同的使用环境和习惯,电池寿命变成了一门玄学。不过柏林的三位小伙伴,利用Tensorflow,在原有的预测体系基础上。更近一步,完成了电池的全寿命预测。

靓科技解读 ·  2天前
PyTorch横扫顶会,TensorFlow退守业界:机器学习框架一年变天

机器学习框架的世界,局势变化过于迅猛,稍不注意就会被抢了地盘。一年前,TensorFlow还是各大顶会论文选择的主流框架,如今顶会几乎成了PyTorch的天下。

鱼羊 栗子 ·  2天前
Nature发文:深度学习系统为什么这么好骗?

今天的人工智能系统经常会出现莫名其妙的 bug。最新一期《自然》杂志上的这篇文章向我们介绍了深度学习为什么如此容易出错,以及解决这些问题的研究方向。

机器之心 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载