谷歌选择自主构建AI芯片的六大理由

编译作者: 核子可乐译 2017-04-21 07:10:12

【51CTO.com快译】长久以来,谷歌这类云厂商一直在利用由商用型英特尔PC硬件构建的系统支持其数据中心。然而在处理AI类负载方面,互联网巨头却选择了另一条道路——开发其张量处理单元(简称TPU)。

但这又引发了新的问题:为何英特尔、高能与英伟达无法满足谷歌数据中心的需求?

谷歌选择自主构建AI芯片的六大理由

事实上,TPU并非如英特尔CPU或者英伟达GPU那样属于通用型设备,而是一类专门面向机器学习乃至其人工智能子集的特定应用集成电路(简称ASIC)。过去几年以来,负责语言翻译、图像识别、消费者购买推荐等类型的机器学习方案正不断涌现,这意味着谷歌拥有大量数据以实现准确的分析与预测。

机器学习分为两大组成部分:训练与推理。训练是利用数据对预测模型进行调整,包括通过数百万自然语言示例帮助机器学习系统完成语言学习。在此之后,这套语言模型则可通过推断完成具体推断任务。训练与推断皆运行在神经网络之上——神经网络正是运行在数据中心硬件之上负责实现机器学习的优化软件层。

TPU专门针对特定应用的推理任务而设计。Google pain部门负责进行机器学习研究,从而通过多项谷歌服务交付其学习与处理结果。然而随着服务数量的不断提升,相关负载亦在急剧增长。

正是这种日益增长的工作量催生出谷歌TPU——其能够以更低成本与更低延迟向用户提供语言翻译及图像搜索等能力。

以下为谷歌公司设计并构建TPU的六大理由。

1. 性能优势

谷歌将TPU的性能与服务器级英特尔Haswell CPU与英伟达K80 GPU进行了比较,并发现前者能够在处理基准代码执行方面(代表着95%的推理型工作负载)快15到30倍。

2. 物理空间优势

云数据中心相当于IT工厂,其预算包括设备、占地、电力以及数据中心构建成本。将尽可能多的处理能力容纳在最低功耗水平且发热量最低的最小空间内无疑是实现成本优化的核心。

六年前,当用户首次开始使用自然语言识别代替手动操作时,谷歌工程师即估计,每位用户每天使用三分钟的自然语言输入即会令现有数据中心规模翻倍。正因为如此,谷歌才需要打造TPU以继续控制实现成本。

3. 功耗优势

降低功耗不仅能够节约能源成本,同时亦可削减散热成本。除了原始性能更强之外,TPU与CPU主机处理器的组合还能够实现能源效率提升。如下图所示,TPU/CPU组合的每瓦性能水平在不同工作负载下可达到CPU/GPU组合的30到80倍。

谷歌选择自主构建AI芯片的六大理由

4. TPU可解决特定应用难题

英特尔的CPU与英伟达的GPU属于通用系统芯片,专为广泛应用而设计,长于进行精确的浮点运算。机器学习模型则能够容忍精度较低的数学运算,这意味着不再需要浮点运算单元(简称FPU)。因此,TPU能够在移除FPU的前提下与英特尔CPU及英伟达GPU提供同等精度的8 bit数学运算结果。

矩阵代数数学正是大多数神经网络的运作基础。矩阵乘法单元(简称MMU)则为TPU的核心。荐包含执行8 bit乘法与加法的256 x 256乘法累加器(简称MAC)。MMU每个运算周期可执行64000次加法。这意味着主频为0.7 GHz的TPU可通过低精度矩阵数学优化以及数据与结果面向MMU快速导入/移出的方式实现超越2.3 GHz英特尔CPU与1.5 GHz英伟达GPU的性能表现。

5.引导并激励各芯片制造商构建TPU

谷歌研究论文作者指出,商用计算产品在计算架构层面的差异往往很小,因此TPU将成为特定架构层面的重要原型设计方案。由杰出芯片工程师Norman Jouppi领导的工程团队在短短15个月中即完成了TPU交付,这一成果令人印象深刻。事实上,ASIC的制造需要巨额成本,而一旦在实际生产中发现错误,则只能再次投入巨资以从头开始。

尽管如此,英特尔与英伟达的开发、人才以及设计与制造资源已经相当雄厚,足以满足ASIC的设计与制造要求。目前市场上的Amazon、谷歌、Facebook、IBM及微软等企业客户虽然规模庞大,但相较于通用CPU业务,这部分需求仍然较为小众。

正因为如此,作为对机器学习问题拥有深刻理解的谷歌公司开始大力强调TPU的重要意义。其同时发布了一系列研究论文,旨在推动机器学习社区与芯片制造商间的对接层次,最终实现相关商业解决方案的大规模产出。

6.灵活的专利与知识产权

专利发明人Jouppi在美国专利局数据库中申请了一系列TPU相关专利。而作为相关专利的主要持有方,谷歌公司可以利用这一武器激励芯片制造商投身这一业务领域。

目前Amazon、Facebook、谷歌、IBM以及微软等领先机器学习企业客户正积极引导芯片制造商开发特定产品以满足其需求。为了实现这一目标,他们需要发布更新更快的计算架构来推动行业发展,最终让更多企业积极使用AI方案。而AI企业客户的增加亦会提升芯片制造商的参与积极性。谷歌的TPU很可能成为这一良性市场循环的重要基石。

原文标题:6 reasons why Google built its own AI chip

原文作者:Steven Max Patterson

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

谷歌 AI芯片 理由
上一篇:美国购物平台Stitch Fix王建强:数据驱动的决策辅助与产品智能化 下一篇:未来的人们,将会如何看待我们现在的机器人?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

谷歌发布含7种语言的全新数据集:有效提升BERT等多语言模型任务精度高达3倍!

近日,谷歌发布了包含 7 种语言释义对的全新数据集,即:PAWS 与 PAWS-X。BERT 通过该数据集的训练,在释义对问题上的精度实现了约为 3 倍的提升。

杨鲤萍 ·  4天前
无人驾驶元老被起诉,窃取谷歌1.4万份机密文件给Uber

据《纽约时报》报道,联邦检察官指控Anthony Levandowski犯有33项盗窃和企图盗窃商业机密罪。如果他被判有罪,将面临最高10年的监禁和高额罚款。

佚名 ·  2019-08-29 11:33:33
谷歌开源基于ML的手部跟踪算法:手机端实时检测,多个手势同时捕捉

就在不久前,Google 人工智能实验室宣布,他们在「实时手部跟踪」方面取得了新的进展,并将这项新技术运用在了 MediaPipe 中,这也是 AI 计算机视觉任务的一大突破。

杨鲤萍 ·  2019-08-22 10:48:56
谷歌开源「AI手势识别」算法:凭一帧图像识别21个3D点位

谷歌公司的科学家们研究出一种新的计算机视觉方法,用于实现手部感知。该方案能够在实机实验中仅凭一帧图像识别出一只手(或者多只手)上的21个3D点位。只要在手机上就能进行实时追踪,并且还能同时追踪多只手,可识别遮挡。

佚名 ·  2019-08-21 20:08:34
震撼!谷歌自动重建了果蝇完整大脑:40万亿像素图像首度公开!

昨天,谷歌与霍华德 • 休斯医学研究所 (HHMI) 和剑桥大学合作,发布了一项深入研究果蝇大脑的重磅成果 —— 自动重建整个果蝇的大脑。他们使用数千个谷歌云 TPU,重建的完整果蝇大脑高达 40 万亿像素。有了完整的大脑图像,科学家距离了解大脑如何工作更近了一步。

新智元 ·  2019-08-07 13:04:22
印尼垃圾分类:人工智能派上用场

自7月份上海开始推行“史上最严垃圾分类措施”以来,垃圾分类成了很多人日常生活的“必修课”。一个月过去,利用新技术、新模式推进垃圾分类的探索不断涌现。

刘园园 ·  2019-08-05 15:03:46
AI芯片行业处于发展初期 未来市场空间巨大

在全球PC行业逐年衰退、智能手机市场逐渐饱和的情况下,大数据、云计算、人工智能、物联网成为科技发展的新风口。人工智能有三要素,算力、算法和数据,其中算力即是人工智能芯片,是人工智能发展的基础。随着资本对人工智能领域的关注度逐渐提升,人工智能芯片行业迅速发展起来。

新思界 ·  2019-08-01 21:50:17
谷歌高级研究员Nature发文:避开机器学习三大「坑」

本文将介绍谷歌 Accelerated Science 团队在使用机器学习分析时所面临并解决了的三个问题,以说明展示这种做法。

机器之心 ·  2019-08-01 08:15:06
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载