【大咖来了 第10期】零门槛构建弹性大数据云分析平台

作者: 鲍远松 2020-01-13 21:18:30

【51CTO.com原创稿件】大数据和大数据分析成为时下企业关注的焦点,大数据分析平台正在从企业的高配变为标配,是企业实现“一切业务数据化,一切数据业务化”目标的基础平台。本期《大咖来了》邀请了阿里云智能高级解决方案架构师鲍远松,分享主题为《零门槛构建弹性大数据云分析平台》,过程中对大数据分析平台建设进行阶段划分,并对每阶段进行了详尽的阐述。

如下图,为大数据分析平台建设的四个阶段,分别是自建、云托管、云服务和云原生。

大数据分析平台建设之自建

为什么要自建大数据分析平台呢?主要原因有三:其一、传统大数据分析技术已经不能满足大数据分析,需要通过引入新技术进行提升;其二、早期大数据技术相对不成熟、不可靠,需要专门的技术人才去研究;其三、市场上缺乏有效的大数据分析的成功案例和实践,企业必须摸着石头过河。

自建大数据分析平台属于重资产模式,存在多方面不足,主要有如下几点:

周期长:整个建设周期特别长,涉及机房选择、硬件采购、集群部署、测试调优、数据服务、运维管理等诸多环节。

成本高:成本分为两类,一类是服务器、存储、网络、运维、IDC等显性成本,另一类是业务影响、资源闲置、弹性扩容、一次性资金投入等隐性成本。这些成本的投入是确定的,但产出却是未知的。

门槛高:近些年大数据技术蓬勃发展,数据集成、数据存储、分析计算及数据作业每个维度都有很多细分的技术,任何一个技术都需要投入专人进行深入研究,对于普通企业来说人才门槛很高。

见效慢:大数据分析平台需要自始至终不断地进行迭代和修正,直至数据质量符合预期,数据分析结果可信,才能真正达到极致弹性性能、高可靠、多场景应用的效果。

大数据分析平台建设之云托管

自建大数据分析平台种种不足的背景下,云托管应需而生,原因有三:其一、企业甩掉重资产的包袱;其二、大数据技术趋于成熟,企业不再聚焦于大数据技术本身,而是需要一批具有大数据技能的人来做大数据的开发;其三、云厂商结合自身的优势,提供了云上大数据托管平台。

自建大数据分析平台通常是基于开源Hadoop平台,而云托管是把自建开源Hadoop平台转化为企业级、标准型大数据分析平台,具备统一集群管理、完备的监控报警、计算与存储分离、弹性扩容、按需构建、数据安全、低门槛运维、丰富云生态对接等优势。

EMR提供了基础资源、平台管理、数据存储、数据集成、计算引擎、数据使用和作业管理等平台能力,对于所有组件都提供了完备的监控报警,任何组件异常都可以第一时间做报警并且通知到用户,同时基于平台提供了智能的运维管理、调度等功能。

接下来我们从基础设施、运维管理、云生态等角度,详细了解下云托管的部分优势。

云托管之基础设施

首先,云上有丰富的产品规格族,阿里云整个虚拟机分为通用计算、异构计算、裸金属&高性能计算三大类,每一类满足不同的场景,可以快速构建不同场景下的大数据分析平台;其次,利用云的弹性,计算和存储资源可以进行独立扩充,满足业务高峰期或业务对极致性能的追求的同时,还可以灵活的按需构建;最后,云上构建大数据分析平台在成本上可以做大量优化,可以根据业务特性灵活选择购买方式,如通过Spot Instance 大幅降低计算节点的成本。

云托管之运维管理

运维整个大数据分析平台非常复杂,需要专业的人才和大量的投入。从基础运维到管理运维,再到组件运维,云厂商提供了多维度运维能力。

基础运维:云厂商借助自身大规模服务器运维经验构建AlOps系统,可以提前对硬件做检测分析、发现故障后快速进行主动运维,减少对业务的影响。

管理运维:EMR实现一键部署、开箱即用,还提供统一的配置管理、平台状态监控和故障报警等功能。

组件运维:组件运维是大数据分析平台最复杂的部分,当进行版本升级时,由于组件之间存在着千丝万缕的关联,保证兼容是重中之重。组件运维还有一个很重要的点就是性能优化,云厂商会结合自身云计算优势对底层基础设施进行优化,对内核引擎进行优化,帮助开源组件提升性能。

云托管之云生态

云上有丰富的生态,避免后来者重复造轮子或从零开始,如下图。

底层存储在云上可以提供OSS对象存储、HDFS存储,HDFS存储可以直接去无缝访问OSS对象存储,与访问HDFS文件没有任何差别,这样一来,就可以灵活的进行数据归档和成本调优。

在数据源方面, 支持OSS、SLS、RDS、消息队列等服务作为数据源;在计算引擎方面,云上EMR平台可与MaxCompute、Flink、Tensorflow引擎进行打通;在融合方面,云上提供DataWorks服务,通过DataWorks可以把Hadoop整个上层元数据的管理、数据质量管理进行统一。除此之外,云上还提供DataV、QuickBI等分析展示能力。

除以上概述内容外,后续还有云服务和云原生等方面更多干货,请戳视频进行观看: https://aix.51cto.com/activity/10019.html

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

大咖来了 大数据 云分析平台
上一篇:2019年全球人工智能芯片行业市场竞争格局分析 下一篇:不容错过的12个深度学习面试问题
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

房地产科技六大趋势:科技颠覆房地产行业

没有哪个行业可以不受现代科技进步的影响,但房地产业在这方面算是个偏门,房地产业传统上追随新趋势的步伐较慢。但现在不同了!房地产科技正在蓬勃发展并改变我们的购买、销售及与我们的物业互动模式。

佚名 ·  2020-02-18 07:40:34
助力抗疫,人工智能和大数据将全面爆发? 精选

新型冠状病毒肺炎疫情的爆发和传播,牵动着全国人民的心。社会各界纷纷投入到这场没有硝烟的疫情阻击战中。

中国经营报 ·  2020-02-14 18:40:52
【大咖来了 第11期】IT管理者的自我认知和沟通管理 精选

本期《大咖来了》栏目邀请了绿地酒店旅游集团信息技术部总监金勇杰,进行了主题为《IT管理者的自我认知和沟通管理》的分享,希望能给你带来一些借鉴和思考。

金勇杰 ·  2020-02-14 16:20:19
2020年十大技术趋势

变化是唯一不变的。这也适用于我们的职业生涯。如今技术发展非常迅速。 下面十大技术预计将在2020年获得巨大市场。

梦回故里归来 ·  2020-02-02 19:24:01
关注和采用人工智能技术的三个理由

尽管人工智能越来越普及,但许多IT领导者仍然对其风险和机遇的不确定感到焦虑。而如今很多企业将人工智能作为一项业务优先事项。

Anna Frazzetto ·  2020-01-10 11:13:23
许多大数据科学家都已经离职?原因我来告诉你 精选

是的,我是一名数据科学家,是的,你没有看错,但有人必须说出来。我们读了许多关于数据科学是21世纪最性感的工作,以及作为数据科学家可以赚到的诱人的金钱之类的故事,这看起来像是绝对的梦想工作。

AI中国 ·  2019-12-30 22:24:50
【大咖来了 第9期】数据安全之数据库安全黄金法则 精选

本期出席《大咖来了》直播栏目的嘉宾是贝壳找房技术总监侯圣文,分享主题为《数据安全之数据库安全黄金法则》,过程中以Oracle数据库安全加固为例,详尽阐述了如何把管理混乱数据库规范化的三十六大黄金法则。

侯圣文 ·  2019-12-27 17:25:13
如何通过人工智能和大数据改变客户之旅

人工智能在许多领域都很重要。它允许领导者和创新者探索并达到新的竞争优势水平,为企业和客户节省成本和时间。人工智能和大数据正在帮助大型公司通过更顺畅的交付和提高生产力来优化许多领域。它们还帮助提升了包括客户服务在内的所有业务领域的利润率。

Gaurav Sharma ·  2019-12-25 10:36:44
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载