英特尔发布BigDL深度学习框架,欲利用CPU打击GPU

编译作者: 核子可乐译 2017-01-20 13:58:31

【51CTO.com快译】英特尔公司于上周发布了BigDL项目,一套用于分布式深度学习的开源Spark驱动型框架。考虑到如今各大IT厂商纷纷公布机器学习框架,CPU巨头当然也没有理由落后。

但最值得关注的并非英特尔公司这一项目将帮助人们在Spark集群中构建起怎样的机器学习方案,而是芯片巨头就此表达出的与GPU抗争到底的雄心。

英特尔

巨大野心

BigDL主要面向那些希望利用机器学习处理Spark或Hadoop集群中数据的受众,特别是那些已经开始采用Caffe或者Torch库的用户。BigDL的深度学习方案与Torch非常类似。利用BigDL,二者创建的模型皆可面向Spark程序进行导入及运行。另外,Spark还允许此类负载实现跨集群向外扩展。

然而与其它机器学习框架使用GPU加速实现流程推动的思路不同,BigDL采用的是英特尔的数学内核库(Math Kernel)。其中囊括的数学函数针对多线程执行与英特尔特定处理器扩展进行了优化,且芯片巨头在其Python发行版等多个项目中对此加以提及。

英特尔公司宣称,BigDL中的处理流程“相较于立足单节点至强(即相较于主流GPU方案)上的现成开源Caffe、Torch或者TensorFlow拥有几个数量级的速度优势。”不过,BigDL库本身并不具备任何具体的基准测试结果来支持这一说法。

如果GPU加速成为机器学习库中的标准提速选项,为什么英特尔公司没有默认加入GPU支持能力?乍一看来,这似乎是因为Spark在传统角度讲并不属于GPU加速型产品。但这样的理由其实说不通,因为IBM已经建立起对应项目,且商用Spark供应商Databricks公司已经于去年年底在其服务中添加了对GPU加速型Spark的支持。从理论上讲,BigDL完全能够与GPU加速型Spark进行配合,但英特尔的整体规划显然有所不同。

硬件之争

英特尔公司一直在凭借着其至强Phi处理器产品线在高端计算市场上与GPU厮杀。英特尔方面以GPU的形式对其至强Phi处理器进行封装——即采用PCIe附加卡的形式——同时纳入了OpoenMP与OpenCL等软件工具以实现其硬件的并发与高速处理效果。(英特尔公司还收购了一家名为Nervana的机器学习硬件厂商,且很可能将其产品以PCIe附加卡的形式推出。)

这一切意味着开发者将拥有更多选择:在理论上,将现有软件运行在至强Phi上可实现远低于将其移植至GPU架构中的代码修改量。这也意味着运营工作更易于进行,因为由至强Phi附加卡构建的系统可通过简单进行卡板插入实现升级或者扩展,而不必对整体机架进行更换。

在这方面,BigDL可被视为支持英特尔未来发展规划的重要概念验证性应用之一。不过行业的整体势头明显更偏向GPU——虽然大多数用于GPU加速的软件必须遵循由另一家硬件供应商制定的客观标准(英伟达与CUDA)。另外,考虑到Spark及其它库已经开始全面引入GPU加速机制,因此开发者并不需要付出太多精力就能享受到由此带来的收益。

英特尔公司虽然能够利用BigDL这类库获得一定竞争优势,但从长远角度来看,机器学习的历史车轮仍在朝着以GPU支持为主的方向滚动。

原文标题:Intel's BigDL deep learning framework snubs GPUs for CPUs,原文作者:Serdar Yegulalp

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

英特尔 GPU CPU
上一篇:要用无人驾驶卡车送货?亚马逊申请无人驾驶专利 下一篇:机器学习、数据科学、人工智能、深度学习、统计学等的区别
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

深度学习GPU最全对比,到底谁才是性价比之王?

总的来说,本地运算首选英伟达GPU,它在深度学习上的支持度比AMD好很多;云计算首选谷歌TPU,它的性价比超过亚马逊AWS和微软Azure。

佚名 ·  2020-12-22 11:05:12
快手联手英特尔提升KGNN 平台大规模实时动态图训练效率

为了提升平台性能,KGNN 使用英特尔® 傲腾™ 持久内存来替代传统的 DRAM 内存,实现了单机内存的 TB 级扩展,可以支持点规模 10 亿级别、边规模百亿级别的超级大图, 从而能够提供更精准的推荐。

佚名 ·  2020-12-07 18:02:36
调参侠看过来!两个提高深度学习训练效率的绝技

本文分享了通过GPU利用率和分布式训练Horovod框架来提升深度学习训练。

wedo实验君 ·  2020-09-23 10:20:02
微信AI联手惠普、英特尔,打造PC端人工智能语音助手

9月9日,在腾讯全球数字生态大会“微信·发现新增长”专场,微信AI团队联合惠普、英特尔宣布,将在惠普旗下第11代英特尔R酷睿TM处理器的笔记本和一体机上,全新搭载智能语音助手“惠小微”。

佚名 ·  2020-09-10 12:43:23
2020年深度学习优秀GPU一览,看看哪一款最适合你!

如果你准备进入深度学习,什么样的GPU才是最合适的呢?下面列出了一些适合进行深度学习模型训练的GPU,并将它们进行了横向比较,一起来看看吧!

大数据文摘 ·  2020-03-30 09:42:54
2020年搞深度学习需要什么样的GPU:请上48G显存

在 lambda 最新的一篇显卡横向测评文章中,开发者们探讨了哪些 GPU 可以再不出现内存错误的情况下训练模型。当然,还有这些 GPU 的 AI 性能。

机器之心 ·  2020-02-19 15:16:42
正式推出首款云端AI芯片,英特尔押注人工智能胜算几何?

美股研究社消息,日前英特尔正式发布了其最新推出的Nervana神经网络处理器(NNP)和下一代英特尔Movidius Myriad视觉处理单元(VPU),其中,Nervana神经网络处理器是英特尔为云端和数据中心客户提供的首个针对复杂深度学习的专用 ASIC芯片。

华尔街那点事 ·  2019-11-28 14:20:36
深度学习中,CPU、GPU、NPU、FPGA如何发挥优势

随着AI的广泛应用,深度学习已成为当前AI研究和运用的主流方式。面对海量数据的并行运算,AI对于算力的要求不断提升,对硬件的运算速度及功耗提出了更高的要求。

咪付 ·  2019-09-11 15:38:15
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载