新浪微博廖博:WAIC实时流计算平台的成长和繁衍

作者: 查士加 2018-05-16 14:04:05

【51CTO.com原创稿件】七年一剑,华丽蜕变。自2012年起连续6年15场峰会,凝聚大量技术专家,博观而约取,厚积而薄发。2018WOT全球软件与运维技术峰会5月18日扬帆起航,围绕12大核心热点,汇聚海内外60位一线专家,打造高端技术盛宴!

在5月19日下午的C会场“高并发与实时处理”专场中,新浪微博实时流技术平台负责人廖博将带来精彩的分享。会前,51CTO记者有幸采访到他,针对“WAIC实时流计算平台的成长和繁衍”这一主题进行了深入的交流。

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。

新浪微博实时流技术平台负责人廖博

廖博介绍,目前WAIC实时流计算平台经历了三个发展阶段:

  • ***阶段,是由各种需求驱动的自由发展时期,新浪微博技术团队在这一阶段进行实时计算技术的研究和业务应用;
  • 第二阶段,随着行业的发展以及业务对实时数据处理需求的急速增加,迫切需要一个实时流计算平台来支撑快速的业务发展需求,该阶段完成了实时流计算平台的初步建设;
  • 第三阶段,是繁荣生长的阶段,包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设,以及样本生成平台、第三方特征接入平台等各类子服务平台。

WAIC实时流计算平台用storm、kafka、scribe、flume、http、docker等较为成熟的技术进行平台构建,以统一监控平台、实时数据对账系统、实时数据源为平台基础,利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。据介绍,WAIC平台满足了新浪微博实时打标签,feed、Push等业务的实时特征生成,以及图片、音视频等多媒体文件分析的业务需求。

业内人士都知道,吞吐量和扩展性是考验实时流技术的重要标准。目前,WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面,WAIC平台采用插拔式的接入方式,只需按照规范开发相应的weibox:首先将接入方式进行抽象,制定相应的规范,需要扩展的实时集群只要按规范接入即可。

***,廖博提到,WAIC实时流计算平台仍有一些问题尚未解决,包括实时流计算任务的统一资源调度,case统一追踪平台,多媒体分析平台,以及多机房多网络容灾。其中,前三项是新浪微博实时流技术平台下一步建设的重点。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

人工智能 新浪微博 实时流计算
上一篇:人工智能+区块链发展趋势及应用调研报告(附获奖名单) 下一篇:TIC 2018:云服务助力人工智能全速起航
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI人工智能正在悄悄的操控着我们的所见所想

在日常生活中大家现在已经越来越依赖手机上各种形形色色的app了,无论我们是出门吃饭时寻找餐厅,还是在视频语音聊天,刷视频,或是网上购物shopping,无时无刻我们都离不开手机APP。

软件说明 ·  1天前
AI 崛起的第九个年头,还有哪些大有可为的地方?

2020年还剩下10个月的时间,让我们去预期,人工智能会有哪些重要的趋势呢? CB insights曾就此问题做了一个判断,并给出人工智能的九个重要研究和应用趋势。AI 科技评论在一定程度上认同这些判断,针对这 9 个趋势,我们将做以下分析。

蒋宝尚 ·  1天前
AI芯片为啥至今都没有出现“爆款”?

“AI芯片”这个新鲜的概念在过去一年间逐渐走过了普及的阶段,越来越被大众所熟知。在行业走过野蛮生长,开始加速落地、加速整合的过程中,也有更多的AI芯片公司也开始走出属于自己的差异化路线。

佚名 ·  1天前
拥有30亿张照片库的人脸识别初创公司遭黑客攻击!600多家执法机构和银行信息被盗

Clearview AI是美国纽约的一家AI面部识别创业公司Clearview设计的一款突破性的面部识别应用工具,通过拍摄陌生人的照片,然后将其上传,就可以轻松查看该人的公开照片,以及指向这些照片出现位置的链接和具体内容。

张佳、王汐 ·  1天前
数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
人工智能如何改造旅游业

旅游业正在慢慢地将人工智能融入到行业当中,并为游客提供个性化定制体验。在人工智能的帮助下,旅游业的业务流程和客户服务都发生了改变。

佚名 ·  1天前
人工智能技术如何将人们从深度伪造的世界中拯救出来

如今,采用深度伪造(Deepfake)生成的视频和音频,人工智能生成的文本、诗歌和歌词,假网站和假新闻进入人们的世界。人们的生活还会真实吗?

Mike Elgan ·  1天前
四种使用物联网和人工智能加速获取价值的有效方法

最近,话题转向企业如何才能更快,更有效地获取和利用物联网计划的见解。物联网和人工智能的结合为企业实现这一预期成果提供了途径。实际上,这两种技术是相辅相成的,应该紧密相连。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载