英特尔发布BigDL深度学习框架,欲利用CPU打击GPU

编译作者: 核子可乐译 2017-01-20 13:58:31

【51CTO.com快译】英特尔公司于上周发布了BigDL项目,一套用于分布式深度学习的开源Spark驱动型框架。考虑到如今各大IT厂商纷纷公布机器学习框架,CPU巨头当然也没有理由落后。

但最值得关注的并非英特尔公司这一项目将帮助人们在Spark集群中构建起怎样的机器学习方案,而是芯片巨头就此表达出的与GPU抗争到底的雄心。

英特尔

巨大野心

BigDL主要面向那些希望利用机器学习处理Spark或Hadoop集群中数据的受众,特别是那些已经开始采用Caffe或者Torch库的用户。BigDL的深度学习方案与Torch非常类似。利用BigDL,二者创建的模型皆可面向Spark程序进行导入及运行。另外,Spark还允许此类负载实现跨集群向外扩展。

然而与其它机器学习框架使用GPU加速实现流程推动的思路不同,BigDL采用的是英特尔的数学内核库(Math Kernel)。其中囊括的数学函数针对多线程执行与英特尔特定处理器扩展进行了优化,且芯片巨头在其Python发行版等多个项目中对此加以提及。

英特尔公司宣称,BigDL中的处理流程“相较于立足单节点至强(即相较于主流GPU方案)上的现成开源Caffe、Torch或者TensorFlow拥有几个数量级的速度优势。”不过,BigDL库本身并不具备任何具体的基准测试结果来支持这一说法。

如果GPU加速成为机器学习库中的标准提速选项,为什么英特尔公司没有默认加入GPU支持能力?乍一看来,这似乎是因为Spark在传统角度讲并不属于GPU加速型产品。但这样的理由其实说不通,因为IBM已经建立起对应项目,且商用Spark供应商Databricks公司已经于去年年底在其服务中添加了对GPU加速型Spark的支持。从理论上讲,BigDL完全能够与GPU加速型Spark进行配合,但英特尔的整体规划显然有所不同。

硬件之争

英特尔公司一直在凭借着其至强Phi处理器产品线在高端计算市场上与GPU厮杀。英特尔方面以GPU的形式对其至强Phi处理器进行封装——即采用PCIe附加卡的形式——同时纳入了OpoenMP与OpenCL等软件工具以实现其硬件的并发与高速处理效果。(英特尔公司还收购了一家名为Nervana的机器学习硬件厂商,且很可能将其产品以PCIe附加卡的形式推出。)

这一切意味着开发者将拥有更多选择:在理论上,将现有软件运行在至强Phi上可实现远低于将其移植至GPU架构中的代码修改量。这也意味着运营工作更易于进行,因为由至强Phi附加卡构建的系统可通过简单进行卡板插入实现升级或者扩展,而不必对整体机架进行更换。

在这方面,BigDL可被视为支持英特尔未来发展规划的重要概念验证性应用之一。不过行业的整体势头明显更偏向GPU——虽然大多数用于GPU加速的软件必须遵循由另一家硬件供应商制定的客观标准(英伟达与CUDA)。另外,考虑到Spark及其它库已经开始全面引入GPU加速机制,因此开发者并不需要付出太多精力就能享受到由此带来的收益。

英特尔公司虽然能够利用BigDL这类库获得一定竞争优势,但从长远角度来看,机器学习的历史车轮仍在朝着以GPU支持为主的方向滚动。

原文标题:Intel's BigDL deep learning framework snubs GPUs for CPUs,原文作者:Serdar Yegulalp

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

英特尔 GPU CPU
上一篇:大规模机器学习:将数据科学引入生产系统架构的典型模式 下一篇:机器学习、数据科学、人工智能、深度学习、统计学等的区别
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

TPU、GPU、CPU深度学习平台哪家强?有人做了一个基准测试研究

GPU、TPU、CPU 都可以用于深度学习模型的训练,那么这几个平台各适用于哪种模型,又各有哪些瓶颈?在本文中,来自哈佛的研究者设计了一个用于深度学习的参数化基准测试套件——ParaDnn,旨在系统地对这些深度学习平台进行基准测试。

机器之心 ·  2019-09-03 10:44:59
GPU与CPU比较,GPU为什么更适合深度学习?

CPU是一个有多种功能的优秀领导者。它的优点在于调度、管理、协调能力强,计算能力则位于其次。而GPU相当于一个接受CPU调度的“拥有大量计算能力”的员工。

techlearn ·  2019-08-21 09:24:45
深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

随着AI的广泛应用,深度学习已成为当前AI研究和运用的主流方式。面对海量数据的并行运算,AI对于算力的要求不断提升,对硬件的运算速度及功耗提出了更高的要求。

咪付 ·  2019-05-10 08:43:05
分布式入门,怎样用PyTorch实现多GPU分布式训练

本文首先介绍了分布式计算的基本概念,以及分布式计算如何用于深度学习。然后,列举了配置处理分布式应用的环境的标准需求。最后,本文从理论角度和实现的角度演示了一个用于训练深度学习模型的分布式算法。

机器之心 ·  2019-05-05 08:37:39
阿西莫夫的机器人三定律和Mobileye的自动驾驶五原则

很多科幻小说作家的想象,最终在现实世界中得到了应验。大师级科幻小说作家阿西莫夫有过一个思考,对于AI驱动的机器人,除了应该不断提升机器本身的智力水平之外,让其更好用之外,在其和人类打交道的时候,还需要一个更宏观的,在技术至上的指导原则。

高飞 ·  2018-11-22 13:20:41
英特尔联手第四范式,让人人都享受到AI的日子不远了

如今,人工智能已经不再是遥远的概念,正在影响我们工作、生活的方方面面。市场研究机构Gartner预测,到2022年,由人工智能驱动的商业价值,将高达3.9万亿美元。对于如此大的一座金矿,其发展前景自然不用多说。

Barry ·  2018-10-30 18:51:39
海云捷迅任钟坪:AI从想法到实现,只需10次鼠标点击的距离!

对于AI团队来说,从想法到实现,只需要10次鼠标点击的距离,而海云捷迅现在做的是把这10次的鼠标点击做得再快一点点,从而帮助更多公司和创业团队在这个舞台上畅享AI。

Barry ·  2018-10-29 10:52:09
机器学习未来将走向何方?英特尔-南大联合研究中心将给出答案

谈到人工智能算法,深度学习被公认为是目前的翘楚。那么,深度学习能解决什么问题?DARPA(美国国防高级研究计划局)认为,现在整个人工智能的发展正在向第三阶段跃进。

Barry ·  2018-09-18 17:31:11
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载