新浪微博廖博:WAIC实时流计算平台的成长和繁衍

作者: 查士加 2018-05-16 14:04:05

【51CTO.com原创稿件】七年一剑,华丽蜕变。自2012年起连续6年15场峰会,凝聚大量技术专家,博观而约取,厚积而薄发。2018WOT全球软件与运维技术峰会5月18日扬帆起航,围绕12大核心热点,汇聚海内外60位一线专家,打造高端技术盛宴!

在5月19日下午的C会场“高并发与实时处理”专场中,新浪微博实时流技术平台负责人廖博将带来精彩的分享。会前,51CTO记者有幸采访到他,针对“WAIC实时流计算平台的成长和繁衍”这一主题进行了深入的交流。

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。

新浪微博实时流技术平台负责人廖博

廖博介绍,目前WAIC实时流计算平台经历了三个发展阶段:

  • ***阶段,是由各种需求驱动的自由发展时期,新浪微博技术团队在这一阶段进行实时计算技术的研究和业务应用;
  • 第二阶段,随着行业的发展以及业务对实时数据处理需求的急速增加,迫切需要一个实时流计算平台来支撑快速的业务发展需求,该阶段完成了实时流计算平台的初步建设;
  • 第三阶段,是繁荣生长的阶段,包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设,以及样本生成平台、第三方特征接入平台等各类子服务平台。

WAIC实时流计算平台用storm、kafka、scribe、flume、http、docker等较为成熟的技术进行平台构建,以统一监控平台、实时数据对账系统、实时数据源为平台基础,利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。据介绍,WAIC平台满足了新浪微博实时打标签,feed、Push等业务的实时特征生成,以及图片、音视频等多媒体文件分析的业务需求。

业内人士都知道,吞吐量和扩展性是考验实时流技术的重要标准。目前,WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面,WAIC平台采用插拔式的接入方式,只需按照规范开发相应的weibox:首先将接入方式进行抽象,制定相应的规范,需要扩展的实时集群只要按规范接入即可。

***,廖博提到,WAIC实时流计算平台仍有一些问题尚未解决,包括实时流计算任务的统一资源调度,case统一追踪平台,多媒体分析平台,以及多机房多网络容灾。其中,前三项是新浪微博实时流技术平台下一步建设的重点。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

人工智能 新浪微博 实时流计算
上一篇:人工智能+区块链发展趋势及应用调研报告(附获奖名单) 下一篇:TIC 2018:云服务助力人工智能全速起航
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

2020年全球工业机器人行业市场现状及竞争格局分析

目前,全球工业机器人市场处于长期稳健增长阶段,但2019年全球经济下行和贸易摩擦给机器人行业带来了一定影响。

中国工业电器网 ·  14h前
外媒:科学家设计出一款类鱼软体机器人 可入深海探索

3月4日消息,据外媒报道称,近日发表在《自然》杂志上的一项研究显示,中国的一个工程师团队揭示了一种以锂电池为动力的软体机器人,它可以在深海进行探索,而这放在以前只有坚固的潜水器才能做到。

环球网 ·  15h前
自动驾驶优势显现 政协委员李彦宏:规模化商用需政策创新

无人驾驶快递车、无人驾驶消毒车……新冠疫情期间无人驾驶的优势已经开始凸显,客观上加速了自动驾驶产业化的进程。在“新基建”的浪潮中,如何及早实现自动驾驶的商业化和大规模应用,并成为智慧城市、智能交通的重要组成部分,成为本届两会关注的焦点之一。

华夏时报 ·  15h前
“天眼”破解停车难 人工智能赋能城市治理

作为解决路侧停车乃至整个智慧交通的抓手,人工智能赋能的高位视频到底有何神秘之处?新华网对此采访了技术解决方案企业和权威专家。

新华网客户端 ·  15h前
GPT-3:被捧上天的流量巨星,却有重大缺陷,很危险...

去年当红的流量明星非GPT-3莫属,能答题、写文章,做翻译,还能生成代码,做数学推理,不断被人们吹捧。不过,过誉的背后也有人开始质疑,GPT-3真的达到了无所不能的地步了吗?

佚名 ·  17h前
快20倍!谷歌AI推TensorFlow 3D,智能汽车好用

Google AI发布了TensorFlow 3D,将3D深度学习能力引入TensorFlow,加入3D稀疏卷积网络,在Waymo Open数据集上的实验表明,这种实现比预先设计好的TensorFlow操作提速「20倍」。

佚名 ·  17h前
AI脑回路竟和人类如此相似,OpenAI最新研究引热议

两个月前轰动网络的AI设计大师CLIP,刚刚被OpenAI“扒开”了脑子。没想到,这个性能强大的AI竟和人类思维方式如此相像。

浩楠 晓查 ·  17h前
AI时代,有人在悄悄模仿你的脸

当前,网络赌博、网络诈骗等违法犯罪分子为逃避警方打击,会通过支付平台进行多次资金转移。在此过程中,很多账号会被平台识别、限制支付,甚至封号。

昌吉网警巡查执法 ·  18h前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载