新浪微博廖博:WAIC实时流计算平台的成长和繁衍

作者: 查士加 2018-05-16 14:04:05

【51CTO.com原创稿件】七年一剑,华丽蜕变。自2012年起连续6年15场峰会,凝聚大量技术专家,博观而约取,厚积而薄发。2018WOT全球软件与运维技术峰会5月18日扬帆起航,围绕12大核心热点,汇聚海内外60位一线专家,打造高端技术盛宴!

在5月19日下午的C会场“高并发与实时处理”专场中,新浪微博实时流技术平台负责人廖博将带来精彩的分享。会前,51CTO记者有幸采访到他,针对“WAIC实时流计算平台的成长和繁衍”这一主题进行了深入的交流。

随着新浪微博业务的不断推进,对数据处理的实时性要求越来越高。例如,大家所熟悉的微博热词,需要在很短的时间内完成数据处理以供在线系统使用。WAIC实时流计算平台为新浪微博提供可靠的毫秒级和秒级实时数据处理服务,通过提供统一的数据源和配置化接入方式,帮助提高新浪微博实时作业的开发效率,降低部门开发与运营的成本。

新浪微博实时流技术平台负责人廖博

廖博介绍,目前WAIC实时流计算平台经历了三个发展阶段:

  • ***阶段,是由各种需求驱动的自由发展时期,新浪微博技术团队在这一阶段进行实时计算技术的研究和业务应用;
  • 第二阶段,随着行业的发展以及业务对实时数据处理需求的急速增加,迫切需要一个实时流计算平台来支撑快速的业务发展需求,该阶段完成了实时流计算平台的初步建设;
  • 第三阶段,是繁荣生长的阶段,包括统一监控平台、实时数据对账系统、实时数据源建设等基础设施建设,以及样本生成平台、第三方特征接入平台等各类子服务平台。

WAIC实时流计算平台用storm、kafka、scribe、flume、http、docker等较为成熟的技术进行平台构建,以统一监控平台、实时数据对账系统、实时数据源为平台基础,利用新浪自主研发的weipig开发框架进行实时计算方法的沉淀和配置化开发工具。据介绍,WAIC平台满足了新浪微博实时打标签,feed、Push等业务的实时特征生成,以及图片、音视频等多媒体文件分析的业务需求。

业内人士都知道,吞吐量和扩展性是考验实时流技术的重要标准。目前,WAIC实时流计算平台的吞吐量在40W/s左右。扩展性方面,WAIC平台采用插拔式的接入方式,只需按照规范开发相应的weibox:首先将接入方式进行抽象,制定相应的规范,需要扩展的实时集群只要按规范接入即可。

***,廖博提到,WAIC实时流计算平台仍有一些问题尚未解决,包括实时流计算任务的统一资源调度,case统一追踪平台,多媒体分析平台,以及多机房多网络容灾。其中,前三项是新浪微博实时流技术平台下一步建设的重点。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

人工智能 新浪微博 实时流计算
上一篇:人工智能+区块链发展趋势及应用调研报告(附获奖名单) 下一篇:TIC 2018:云服务助力人工智能全速起航
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

超过Google,微信AI在NLP领域又获一项世界第一

微信AI,NLP领域又获一项世界第一,这次是在机器阅读理解方面。

乾明 ·  2天前
AI如何改善采矿行业现状?

人工智能的引入,有望将采矿业转化成一个更安全、利润空间更大且更为环保的行业。

佚名 ·  2天前
大小仅1MB!超轻量级的人脸识别模型火爆Github

近日,用户Linzaer在Github上开源了一款适用于边缘计算设备、移动端设备以及 PC 的超轻量级通用人脸检测模型,该模型文件大小仅1MB,一经开源就霸榜Github Trending榜单。

佚名 ·  2天前
大数据和人工智能如何协同工作

人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注,但这并不意味着大数据技术没有得到发展。如果说有什么不同的话,那就是大数据的规模正在变得越来越大。

Kevin Casey ·  3天前
麻省理工学院开发出组装机器人:未来可建造太空殖民地

麻省理工学院博士生本杰明·杰内特(Benjamin Jenett)和原子中心的尼尔·格申费尔德教授(Neil Gershenfeld)在《电气电子工程师学会机器人与自动化快报》科学期刊上发表报告称,开发出一种组装机器人原型,它可以用很小的零件制成大型结构。

技术力量 ·  3天前
刷脸取件被小学生“破解”!丰巢紧急下线 精选

近日,#小学生发现刷脸取件bug#的话题引发关注!这是真的吗?都市快报《好奇实验室》进行了验证。

好奇实验室 ·  3天前
深度学习/计算机视觉常见的8个错误总结及避坑指南

人类并不是完美的,我们经常在编写软件的时候犯错误。有时这些错误很容易找到:你的代码根本不工作,你的应用程序会崩溃。但有些 bug 是隐藏的,很难发现,这使它们更加危险。

skura ·  3天前
AI艺术日渐繁荣,未来何去何从? 精选

利用人工智能创作而成的画作近年来越来越受瞩目,有的作品甚至能在知名拍卖行拍得高价。但这类作品仍有不少问题需要解答,比如它的作者是开发出算法的程序员还是计算机呢?AI艺术的市场未来将走向何方呢?

网易智能 ·  3天前
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载