AI技术+短视频于苏宁易购电商平台的应用实践

作者: 高超 2018-05-25 22:56:14

【51CTO.com原创稿件】2018年5月18-19日,由51CTO主办的全球软件与运维技术峰会在北京召开。此次峰会围绕人工智能、大数据、物联网、区块链等12大核心热点,汇聚海内外60位一线专家,是一场高端的技术盛宴,也是***IT技术人才学习和人脉拓展不容错过的平台。

在5月18日上午“人工智能技术探索”B会场论坛中, PP云高级技术架构师高超带来了《AI技术+短视频于苏宁易购电商平台的应用实践》的主题分享。

演讲一开始,高超首先介绍了苏宁视频云的基本情况。目前,苏宁视频云主要赋能直播、点播、短视频网页加速和低延时视频通话这五大业务。

  • 直播:软件开发工具包、API、控制台
  • 点播:基于PP视频十年媒体技术和服务经验,打造的集上传,存储,转码,加速,管理和监控等功能为一体的产品
  • 短视频:集拍摄,编辑,上传,转码,管理,分发,播放于一体的全功能产品
  • 网页加速:自建+融合,支持全球智能化调度
  •  低延时视频通话:基于WebRTC的视频通话解决方案,可以多人视频通话和旁路直播

紧接着,高超分享了苏宁视频云背后的核心技术细节,主要涉及短视频机器审核、短视频加速智能调度和AI技术上的前景和困惑等部分。

一、短视频机器审核

1.AI应用起源

2016年开始,PP云进入快速发展周期,出现大量涉黄视频和版权问题视频,主要来源是企业上传视频。期间编辑审核速度不快,运营投诉,法务部门的反馈都让技术团队不得不抽出时间应对。PP云的技术人员需要花出额外的时间来人工校验,封禁账号。

经过一段时间的经验积累和应对措施调整,AI在视频审核的应用需求被提上日程。

2.机器审核需求演化

下面是PP云提出需求后,将机器审核服务上线落地,不断迭代经过的历程。

需求初期专门针对视频机器审核做了可行性分析,对目标的可操作性进行了论证,最终确认使用人工智能来做这件事情,并且调研和测试了卷积神经网络在这方面的应用,实际测试中也应用了深度学习框架来验证效果。

业务系统整合阶段让机器审核作为分布式服务部署,同时和人工审核服务并行存在,避免审核错误,并且纠正后的结果可以作为训练数据。

评估预测结果是个不断迭代,可持续的过程,在实际应用中,演化出了不同业务特性使用不同的模型。

3.机器审核工作流

该工作流分为两层:上层为业务流程,下层为机器审核服务流程。

  • 业务流程的输入项为视频文件,转换为视频全图作为机器审核服务的输入项。
  • 机器审核服务对视频全图做特征处理,如重复检测等等,再输入到训练模型中给出结果预测,结果预测会输出到业务流程中,由人工审核监督。
  • 训练模型会进行定期评估和调整,已适应不断变化的业务需求。

4.机器审核服务实践

在测试阶段参与测试的视频总量达数千万,所占存储约3PB。

测试视频的分类丰富,主要有电商类、体育类、文化类、企业多元化视频。电商类视频包括苏宁易购商品介绍视频,商品评价视频,社区视频等不同场景类型内容;体育类视频有直播录制视频,赛事讲解视频等等;文化类包含多种娱乐性视频,资讯类视频,PGC专业性内容视频等;企业上传视频是分类最多,场景最丰富的区域。

上面示例是苏宁易购的视频全景图,采用固定间隔截图,默认是6秒钟间隔一张,如果是高度敏感内容,可以调整为1秒钟间隔一张;缩略图采用10x10排列,一共100张一个全景,超过的部分用新的全景排列。

有了可测试数据源后,PP云对主流AI框架做了调研和测试。选型的测试框架有Caffe、Keras、TensorFlow,结合实际需求,确定了使用Caffe作为机器审核的基础AI框架,***个测试阶段的数据集抽取了ImageNet的部分分类做验证,再使用准备好的视频数据做进一步准确性测试。

上图是一个普通神经网络的示例图,有输入层、隐藏层、输出层,实际应用中层数和链接都会做调整。

这是一个AlexNet模型,是两个GPU的使用场景,能清晰的看到输入层是一个 224x224x3的图像输入,划分为小图是11x11,移动步长为4;长方体是卷积核,比如3x3,5x5,还有深度;***是三个全链接层,还有卷基层中间的池化层,起降维作用,减少参数输入,最终输出是100个类别;在PP云实际使用的时候调整了类别个数。

这是一个VGG16模型,PP云的目标检测使用了Faster RCNN,VGG16一共16层,有13个卷积层和3个全链接层,实际测试中比AlexNet准确率更高,但是速度要慢一点,所以会应用中存量视频或及时性要求不高的视频审核上。

从图上可以很形象的看出池化层(max pooling)的参数降维作用,并且激活函数和AlexNet相同,都使用了ReLU,输出层类别也是1000个

下图是PP云测试中确定内容判定阀值的过程数据,可以看到阀值测试范围是0.3到0.7,步长是0.05,经过样本测试选中了0.45作为生产环境常量。

以下是影片分类判定阀值测试,利用同样的测试数据按计划做批次测试并汇总结果。

拿测试结果的90%作为置信区间,经过公式推算,得出阀值推荐值为0.473,推荐范围为[0.31,0.53],PP云根据不同的业务要求做细节调整

目前PP云的系统平均准确率可以达到99.2%以上,准确率是按照整个视频所有图片聚合计算后得到的最终概率计算。

在PP云使用卷积神经网络过程中也需要针对结果准确性做调试,这时候就需要反卷积算法帮助,来反查判断错误的内容是从那一层开始出错的,如下图是一个VGG16模型的卷积过程和反卷积过程

下图是PP云业务系统集成示例,一共有两个模式:业务增量视频上传接入、扫描处理历史数据;业务系统讲视频上传至存储管理系统中,由存储管理系统来分发审核任务,并且获取审核结果,机器审核分布式服务订阅任务队列,处理完任务后反馈结果到存储管理系统,整个过程实时性较高。

上面审核后台用来做结果复核,界面操作如下图,即是审核也是打标,打标后的数据可以重新反馈给机器审核做训练数据。

下图是业务系统应用的一个场景,讲机器审核和人工审核结果都同步过来,按照业务预定义好的判断逻辑做最终决策。

5.其他类型的监控

除了机器审核对视频的动态监测,PP云还使用了其他运维工具来保障服务访问的稳定性。如苏宁云迹作为自研系统,可以满足故障分析和基础报警需求;ELK和TICK作为辅助工具可以定制更多的业务类型监测和报警。

二、短视频加速智能调度

1.加速智能调度演化

随着业务越来越多,资源越来越丰富,PP云需要针对不同服务做不同级别的保障,所以提出了智能调度的需求。和机器审核类似,也经历了三大过程,采用TensorFlow框架,不同类型的数据类型和输出策略。

2.加速智能调度工作流

该工作流分为两层:上层为业务流程,下层为预测服务流程。

PP云的数据输入边界比较明显,预置策略相对灵活,由模型利用历史数据和当前数据做调度预测,业务人工选择推荐并应用。

3.智能调度实践

针对智能调度的目标定位分为服务整体稳定性和故障自动恢复。

通过调度预测实现局部稳定性推荐,并提升整体系统稳定性指数;并且可以在故障发生时根据推荐列表尝试自动恢复。

作为预测数据来源,PP云一共分为三大类型:全网监测数据、基调网络数据和业务预置策略。全网监测数据来自自建CDN节点详细数据记录,商业融合CDN可以使用节点日志数据,基调网络数据可以更详细,基于LastMile,可以获取nslookup结果,ping结果,traceroute结果,终端下载耗时,下载速度,视频buffer等等,加上业务预置边界策略,可以推荐调度策略供业务使用。

三、 AI技术上的前景和困扰

1. AI未来应用场景

  • 电商应用如用户购买预测
  • 新零售应用如数字化导购
  • 视频智能分类:苏宁集团内部系统视频分类打标
  • 内容智能感知:体育直播进球片段和精彩回放预测截取

2. AI技术上的困扰

新生分类数据量初期少,如手术现场培训视频,容易引起模型预测不准,需要模型针对此类数据不断优化;这个不断优化的过程中,常用分类视频的回报周期效果明显,但是新的行业或者冷门行业数据需要不断调优来产生回报收益

【作者简介】高超,PP云高级技术架构师,拥有7年业务研发和架构经验,目前负责PP云视频服务研发和架构工作。

以上内容是51CTO记者根据高超在WOT2018全球软件与运维技术峰会的演讲内容整理,更多关于WOT的内容请关注51cto.com,更多关于PP视频云的内容请关注PP云视频公众号。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

AI技术 短视频 苏宁易购
上一篇:订单收入超7亿元,百分点为什么能够爆发式增长? 下一篇:洞察消费者需求与酒店业痛点 秀豹旅行手机应需而生
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

凭借独到的逻辑与过硬的AI技术 快手1.6亿日活、1500万+单日上传

截至2018年12月,快手拥有超过1.6亿日活用户,3亿月活用户,每日上传短视频超过1500万条,库存短视频数量超过80亿条。快手之所以在短短时间拥有如此成绩,凭借的是独到的逻辑与过硬的AI技术。

王雪燕 ·  2019-01-17 23:03:20
MIT用新AI技术让视频不再卡顿

视频的卡顿和低清晰度大大降低了观众的观看体验,同时也损害了广告主们的利益。目前,视频的卡顿和低清晰度都是由于一些特殊的算法造成的,它们将视频分解成小块,边看视频的同时,它就在一边加载。

学术帮 ·  2018-02-25 12:14:20
滴滴发布交通大脑,用AI技术破解交通难题

滴滴交通大脑将在这一变革中扮演重要角色,也希望成为解决城市交通问题的突破口,与交管部门等合作伙伴一起用技术力量改善城市交通,普惠大众出行。

佚名 ·  2018-01-26 13:20:12
AI人工智能正在悄悄的操控着我们的所见所想

在日常生活中大家现在已经越来越依赖手机上各种形形色色的app了,无论我们是出门吃饭时寻找餐厅,还是在视频语音聊天,刷视频,或是网上购物shopping,无时无刻我们都离不开手机APP。

软件说明 ·  1天前
AI 崛起的第九个年头,还有哪些大有可为的地方?

2020年还剩下10个月的时间,让我们去预期,人工智能会有哪些重要的趋势呢? CB insights曾就此问题做了一个判断,并给出人工智能的九个重要研究和应用趋势。AI 科技评论在一定程度上认同这些判断,针对这 9 个趋势,我们将做以下分析。

蒋宝尚 ·  1天前
AI芯片为啥至今都没有出现“爆款”?

“AI芯片”这个新鲜的概念在过去一年间逐渐走过了普及的阶段,越来越被大众所熟知。在行业走过野蛮生长,开始加速落地、加速整合的过程中,也有更多的AI芯片公司也开始走出属于自己的差异化路线。

佚名 ·  1天前
拥有30亿张照片库的人脸识别初创公司遭黑客攻击!600多家执法机构和银行信息被盗

Clearview AI是美国纽约的一家AI面部识别创业公司Clearview设计的一款突破性的面部识别应用工具,通过拍摄陌生人的照片,然后将其上传,就可以轻松查看该人的公开照片,以及指向这些照片出现位置的链接和具体内容。

张佳、王汐 ·  1天前
数据机器学习在故障检测中的应用

本文将简要介绍几种在故障诊断领域广泛应用的机器学习技术及其各自的应用方向,并对每种技术的优缺点进行简单分析。包括:贝叶斯网络(BN),人工神经网络(ANN),支持向量机(SVM)和隐马尔可夫模型(HMM)技术。

交能网 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载