【大咖来了 第5期】如何建设大数据中台

作者: 郭炜 2019-11-07 15:31:48

本期出席《大咖来了》直播栏目的嘉宾是易观CTO郭炜,进行了主题为《如何建设大数据中台》的分享,主要涉及三方面:为什么要建立大数据中台,技术大数据中台建立参考模式与思考,及在大中台,小前台场景下技术人员该做些什么。

为什么要建立大数据中台

现在乃至未来,绝大部分企业会陆续成为数据企业,数字用户资产会成为这些企业的核心资产,人工智能、大数据等前沿技术也将会成为基础设施,促进每个企业的业务用户、业务线快速增长。其实,大数据中台就是企业从传统信息化到数字化演进过程中的必然产物。

中台是技术人员从后台走向前台的过渡阶段,为什么这样说?如下图所示,以投资银行举例。

如把投资银行对前台、中台、后台的定义映射到互联网或系统,可以简单理解为前台是赚钱的、后台是做支持赚钱的,而中台是支持更快赚钱的。建设大数据中台的本质在于把过去在后台的工作挪到中台,进一步支持前台更高效的做数据分析。

大数据平台风行,为什么又需要建设大数据中台呢?这是因为建设大数据平台时有各种各样的痛点,这里主要介绍如下三点:

  • 大数据项目启动难:大数据平台建设周期长,成本高、人员互联网运营经验不足。

  • 大数据项目效果体现难:大数据如何解决互联网运营问题、大数据系统建设结果是更多的BI报表、大数据建设ROI无法衡量。

  • 大数据项目执行难:数据源纷繁复杂、原有系统涉及到多部门协调沟通、以及数据治理问题。

整个大数据平台依次从数据接入、计算、分析、运营,每一层都有各种各样的模块具体运作流程,如下图。

面对这样一个典型的大数据平台结构,怎样做才能提高效率呢?这里有以下五点思考。

  1. 让业务还给业务,尽可能避免业务人员等待技术反馈需求单这样耗时的流程。

  2. 做到实时数据分析,满足运营人员的需求。

  3. 能够更好支持人工智能或增强智能所涵盖的流行算法。

  4. 数据治理要在业务端进行,而不是在技术端进行梳理。

  5. 让业务人员、数据科学家直接看到反馈,而不是传统软件加工方式。

从大数据平台到数据中台是一次从技术到业务的飞跃,过去我们只看技术,到中台时期,是从业务端看技术。

技术大数据中台建立参考模式与思考

大数据中台大致可分为大中台和深中台两种模式,如下图。

类BAT的大数据中台称之为大中台,是更广泛的数据中台,底层布设LaaS 、PaaS,各个业务线在基础之上进行二次开发。但对于小厂而言,并没有那么多人力开发通用中台去支撑各个业务线,只能是各业务线围绕自身需求进行开发,这种情况被称之为深中台。

说到深中台模式,这里需要提及的是数据河理论。那什么是数据河理论呢?

数据河理论是相对于数据湖而来,数据湖是把过去各渠道的所有数据集中到一起,为相关计算提供便捷,但久而久之,会慢慢变成数据沼泽,数据运营越来越难。

数据河的出现是为了方便数据运营,使得失去数据口径和失去数据治理的数据越来越少。数据河中流淌着的是单一数据模型,数据产生直接实时流向使用者,不同的数据河,支撑起企业内部数据水生态。

深中台模式其实也是数据河模式,让数据直接流动起来。数据河这个抽象的概念可以落实到IOTA架构,如下图。

IOTA是典型的去ETL化深中台架构,有固定数据模型、在数据产生时规整原子口径,把业务口径交还给业务人员,且支持边缘计算与即时反馈。

如下图,为易观ARGO-免费用户数据中台样例的结构

在这个易观ARGO-免费用户数据中台样例中,对免费&非核心部分进行开源,支持私有化部署、用户账号跨端打通、实时复杂计算和下钻分析、二次开发。

和IOTA架构一样,也是在数据产生时有技术人员规整原子口径,通过自定义指标实时查询,把业务口径交还给业务人员。

在大中台,小前台场景下技术人员该做些什么

大家会有疑问,数据中台盛行,从事数据相关岗位的人,如大数据工程师、数据分析师等他们的风向在哪里?

数据中台的出现,实现人员的技术业务结合与飞跃,让数据技术人员不仅增加数据技术广度,还加强了对前台业务理解,成为跨领域的“龙”式新物种—数据中台工程师。数据中台工程师必备基础技能主要有三,分别是:商业模式、流量模式和数据分析体系。

商业模式包含注意力运营、交易类运营和效益类运营。注意力运营,这类产品都是试图最大化用户在产品上花费的时间,如媒体、游戏以及任何通过广告变现的产品。关注指标是粘性,如UV、PV、访问时长、访问频次、用户到访周期、访问间隔等。交易类运营,这类产品帮助用户做出购买决定,如:电子商务平台、各种交易平台、生活服务、SaaS等。关注指标是交易、交易活跃度,如新商品比例、商品被搜索比例、GMV、ARPU。效率类运营,这类产品帮助用户创建了一种简单可靠的方式来完成现有的任务或工作流程,如:工具类、B2B等。关注指标是用户使用深度指标,如用户完成一次工作流的数量、用户完成一次工作流的时间。

如下图,为数据中台工程师必备技能之流量模式。

当我们分析某个网站时,可以遵循此图,横轴是变现能力,纵轴是导流能力,存在各种不同的角色。一般来讲,金融类变现能力强,玩类导流能力强,出行类导流能力强。

如下图,为数据中台工程师必备技能之数据分析体系。

每一个产品从开始MVP验证有效、获取种子用户、提升产品质量、提升用户体验、拉新获客实现营收,及规模化实现利润最大化,在每个阶段,都需要进行分析,如用户分析,参与度分析,渠道分析,构成分析,收入分析等。

而每个阶段都要需要一套分析体系,对业务进行研究,所以技术人员需要补充数据分析能力和数据分析体系相关知识。

在新数据中台情况下,迭代验证周期是数小时到数天的迭代周期,技术人员只需要建立原子口径,由业务人员做实时业务数据分析,支持业务分析。

建设数据中台前需要思考这几步骤:第一是和技术/业务主管商议是否真的需要中台;第二是中台模式选择,是深中台还是浅中台;第三是数据中台选择,无论做哪种选择最终的结果一定是让业务人员可以直接进行相关数据分析,把业务还给业务,让技术做技术;第四是人员和思路的变革。


中台 大数据
上一篇:人工智能初创公司走向成熟要经历的四个阶段和关注点 下一篇:数据转换率较低将如何严重影响机器学习
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

大数据是否将我们拖到另一个AI冬天?

过去几年中,令人屏息的新闻剪辑数量令人难以记住,但人工智能的历史充满了挫折和挫折。 记忆犹新的人们记得70年代初和80年代的第一对所谓的" AI冬季"。

闻数起舞 ·  2020-05-17 14:52:22
地图厂商的下一战:AI大战

时代在变化,技术在精进,用户需求不断变化,新基建下的互联网地图行业会给用户带来惊喜,这也是地图商们破局的机遇。

暗脑 ·  2020-05-15 10:52:41
医疗行业正从大数据中汲取回报的六个途径

科技总是源源不断地改变着世界,人工智能和大数据正在结合起来,为人们提供各种好处,其中应用比较广泛的可能要数医疗行业了。

佚名 ·  2020-05-14 13:38:32
2020年,你需要掌握的10大趋势技术!

变化是唯一不变的。这也适用于您的职业生涯。如今,提高自己的技能是必需的,原因很简单,技术发展非常迅速。 我列出了十大趋势技术,这些技术有望在2020年获得巨大的市场。

愚子科技 ·  2020-05-06 14:54:59
数据科学vs.机器学习:有什么区别?

机器学习是人工智能(AI)的一个分支,而数据科学是数据清理、准备和分析的学科。人们需要了解每种技术的工作原理,以及它们是如何一起工作的。

Stephanie Overby ·  2020-05-06 14:19:53
大数据与人工智能应用的7个常见误区

大数据和人工智能技术总是结合在一起是很自然的,但是在这一过程中,人们对人工智能和大数据如何协同工作产生了一些误解,导致潜在的混乱,IT领导者应在采用数据驱动型策略时进行澄清。

Stephanie Overby ·  2020-04-22 10:03:39
你是否适应数据正在“看”着你?

从最近针对AI技术发展与影响进行的调查、研究、预测以及其他量化评估结果来看,消费者对于数据隐私、AI给工作带来的影响以及AI优先层面的竞争,普遍抱有困惑且矛盾的态度。

佚名 ·  2020-04-20 13:48:21
AI 时代,还不了解大数据?

如果要问最近几年,IT行业哪个技术方向最火?一定属于ABC,即AI + Big Data + Cloud,也就是人工智能、大数据和云计算。

骆俊武 ·  2020-04-20 10:55:57
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载