【大咖来了 第5期】如何建设大数据中台

作者: 郭炜 2019-11-07 15:31:48

本期出席《大咖来了》直播栏目的嘉宾是易观CTO郭炜,进行了主题为《如何建设大数据中台》的分享,主要涉及三方面:为什么要建立大数据中台,技术大数据中台建立参考模式与思考,及在大中台,小前台场景下技术人员该做些什么。

为什么要建立大数据中台

现在乃至未来,绝大部分企业会陆续成为数据企业,数字用户资产会成为这些企业的核心资产,人工智能、大数据等前沿技术也将会成为基础设施,促进每个企业的业务用户、业务线快速增长。其实,大数据中台就是企业从传统信息化到数字化演进过程中的必然产物。

中台是技术人员从后台走向前台的过渡阶段,为什么这样说?如下图所示,以投资银行举例。

如把投资银行对前台、中台、后台的定义映射到互联网或系统,可以简单理解为前台是赚钱的、后台是做支持赚钱的,而中台是支持更快赚钱的。建设大数据中台的本质在于把过去在后台的工作挪到中台,进一步支持前台更高效的做数据分析。

大数据平台风行,为什么又需要建设大数据中台呢?这是因为建设大数据平台时有各种各样的痛点,这里主要介绍如下三点:

  • 大数据项目启动难:大数据平台建设周期长,成本高、人员互联网运营经验不足。

  • 大数据项目效果体现难:大数据如何解决互联网运营问题、大数据系统建设结果是更多的BI报表、大数据建设ROI无法衡量。

  • 大数据项目执行难:数据源纷繁复杂、原有系统涉及到多部门协调沟通、以及数据治理问题。

整个大数据平台依次从数据接入、计算、分析、运营,每一层都有各种各样的模块具体运作流程,如下图。

面对这样一个典型的大数据平台结构,怎样做才能提高效率呢?这里有以下五点思考。

  1. 让业务还给业务,尽可能避免业务人员等待技术反馈需求单这样耗时的流程。

  2. 做到实时数据分析,满足运营人员的需求。

  3. 能够更好支持人工智能或增强智能所涵盖的流行算法。

  4. 数据治理要在业务端进行,而不是在技术端进行梳理。

  5. 让业务人员、数据科学家直接看到反馈,而不是传统软件加工方式。

从大数据平台到数据中台是一次从技术到业务的飞跃,过去我们只看技术,到中台时期,是从业务端看技术。

技术大数据中台建立参考模式与思考

大数据中台大致可分为大中台和深中台两种模式,如下图。

类BAT的大数据中台称之为大中台,是更广泛的数据中台,底层布设LaaS 、PaaS,各个业务线在基础之上进行二次开发。但对于小厂而言,并没有那么多人力开发通用中台去支撑各个业务线,只能是各业务线围绕自身需求进行开发,这种情况被称之为深中台。

说到深中台模式,这里需要提及的是数据河理论。那什么是数据河理论呢?

数据河理论是相对于数据湖而来,数据湖是把过去各渠道的所有数据集中到一起,为相关计算提供便捷,但久而久之,会慢慢变成数据沼泽,数据运营越来越难。

数据河的出现是为了方便数据运营,使得失去数据口径和失去数据治理的数据越来越少。数据河中流淌着的是单一数据模型,数据产生直接实时流向使用者,不同的数据河,支撑起企业内部数据水生态。

深中台模式其实也是数据河模式,让数据直接流动起来。数据河这个抽象的概念可以落实到IOTA架构,如下图。

IOTA是典型的去ETL化深中台架构,有固定数据模型、在数据产生时规整原子口径,把业务口径交还给业务人员,且支持边缘计算与即时反馈。

如下图,为易观ARGO-免费用户数据中台样例的结构

在这个易观ARGO-免费用户数据中台样例中,对免费&非核心部分进行开源,支持私有化部署、用户账号跨端打通、实时复杂计算和下钻分析、二次开发。

和IOTA架构一样,也是在数据产生时有技术人员规整原子口径,通过自定义指标实时查询,把业务口径交还给业务人员。

在大中台,小前台场景下技术人员该做些什么

大家会有疑问,数据中台盛行,从事数据相关岗位的人,如大数据工程师、数据分析师等他们的风向在哪里?

数据中台的出现,实现人员的技术业务结合与飞跃,让数据技术人员不仅增加数据技术广度,还加强了对前台业务理解,成为跨领域的“龙”式新物种—数据中台工程师。数据中台工程师必备基础技能主要有三,分别是:商业模式、流量模式和数据分析体系。

商业模式包含注意力运营、交易类运营和效益类运营。注意力运营,这类产品都是试图最大化用户在产品上花费的时间,如媒体、游戏以及任何通过广告变现的产品。关注指标是粘性,如UV、PV、访问时长、访问频次、用户到访周期、访问间隔等。交易类运营,这类产品帮助用户做出购买决定,如:电子商务平台、各种交易平台、生活服务、SaaS等。关注指标是交易、交易活跃度,如新商品比例、商品被搜索比例、GMV、ARPU。效率类运营,这类产品帮助用户创建了一种简单可靠的方式来完成现有的任务或工作流程,如:工具类、B2B等。关注指标是用户使用深度指标,如用户完成一次工作流的数量、用户完成一次工作流的时间。

如下图,为数据中台工程师必备技能之流量模式。

当我们分析某个网站时,可以遵循此图,横轴是变现能力,纵轴是导流能力,存在各种不同的角色。一般来讲,金融类变现能力强,玩类导流能力强,出行类导流能力强。

如下图,为数据中台工程师必备技能之数据分析体系。

每一个产品从开始MVP验证有效、获取种子用户、提升产品质量、提升用户体验、拉新获客实现营收,及规模化实现利润最大化,在每个阶段,都需要进行分析,如用户分析,参与度分析,渠道分析,构成分析,收入分析等。

而每个阶段都要需要一套分析体系,对业务进行研究,所以技术人员需要补充数据分析能力和数据分析体系相关知识。

在新数据中台情况下,迭代验证周期是数小时到数天的迭代周期,技术人员只需要建立原子口径,由业务人员做实时业务数据分析,支持业务分析。

建设数据中台前需要思考这几步骤:第一是和技术/业务主管商议是否真的需要中台;第二是中台模式选择,是深中台还是浅中台;第三是数据中台选择,无论做哪种选择最终的结果一定是让业务人员可以直接进行相关数据分析,把业务还给业务,让技术做技术;第四是人员和思路的变革。


中台 大数据
上一篇:人工智能初创公司走向成熟要经历的四个阶段和关注点 下一篇:数据转换率较低将如何严重影响机器学习
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

房地产科技六大趋势:科技颠覆房地产行业

没有哪个行业可以不受现代科技进步的影响,但房地产业在这方面算是个偏门,房地产业传统上追随新趋势的步伐较慢。但现在不同了!房地产科技正在蓬勃发展并改变我们的购买、销售及与我们的物业互动模式。

佚名 ·  4天前
助力抗疫,人工智能和大数据将全面爆发? 精选

新型冠状病毒肺炎疫情的爆发和传播,牵动着全国人民的心。社会各界纷纷投入到这场没有硝烟的疫情阻击战中。

中国经营报 ·  2020-02-14 18:40:52
2020年十大技术趋势

变化是唯一不变的。这也适用于我们的职业生涯。如今技术发展非常迅速。 下面十大技术预计将在2020年获得巨大市场。

梦回故里归来 ·  2020-02-02 19:24:01
【大咖来了 第10期】零门槛构建弹性大数据云分析平台 精选

本期《大咖来了》邀请了阿里云智能高级解决方案架构师鲍远松,分享主题为《零门槛构建弹性大数据云分析平台》,过程中对大数据分析平台建设进行阶段划分,并对每阶段进行了详尽的阐述。

鲍远松 ·  2020-01-13 21:18:30
关注和采用人工智能技术的三个理由

尽管人工智能越来越普及,但许多IT领导者仍然对其风险和机遇的不确定感到焦虑。而如今很多企业将人工智能作为一项业务优先事项。

Anna Frazzetto ·  2020-01-10 11:13:23
许多大数据科学家都已经离职?原因我来告诉你 精选

是的,我是一名数据科学家,是的,你没有看错,但有人必须说出来。我们读了许多关于数据科学是21世纪最性感的工作,以及作为数据科学家可以赚到的诱人的金钱之类的故事,这看起来像是绝对的梦想工作。

AI中国 ·  2019-12-30 22:24:50
如何通过人工智能和大数据改变客户之旅

人工智能在许多领域都很重要。它允许领导者和创新者探索并达到新的竞争优势水平,为企业和客户节省成本和时间。人工智能和大数据正在帮助大型公司通过更顺畅的交付和提高生产力来优化许多领域。它们还帮助提升了包括客户服务在内的所有业务领域的利润率。

Gaurav Sharma ·  2019-12-25 10:36:44
未来增长驱动力?大数据+人工智能正在渗透并将改变我们的生活

人工智能和大数据以未来主义的方式携手并进。在这个发展的时代,这些技术是数字未来保持快速增长的主要部分,带来了各种技术创新,同时通过改变行业的工作方式,探索克服行业挑战的方法。

读芯术 ·  2019-12-16 16:26:12
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载