聚焦解析:视频用AI与图像用AI的区别

编译作者: 核子可乐译 2018-02-25 17:09:30

【51CTO.com快译】与图像处理相比,从视频当中提取见解或使用AI技术既带来新的挑战,同时也提供可观的优化赊。有一种误解认为,视频AI只是简单从视频素材当中提取特定帧,并对各视频帧运行计算机视觉算法。虽然这种作法确实可行,但却并不能真正带来分析见解。在今天的文章中,我们将通过几项实例来了解这种处理单一视频帧方法的缺点。但考虑到篇幅有限,这里我不会详细讨论克服这些缺点所需要的其它算法。感兴趣的朋友可以参考Video Indexer,其提供了多种能够实现此类目标的特定视频算法。

视频中出现的人物

我们一起来看以下[视频]中的前25秒

请注意,在这25秒当中Doug一直出现在画面之内。

如果要为Doug在视频当中出现的情况绘制一条时间线,则应该如下图所示。

请注意,在这一过程当中Doug并非全程面向镜头。在视频的第7秒当中,他有在盯着Emily——第23秒也出现了同样的情况。

如果您在视频中的对应时段之内运行人脸检测,则Doug的面部将无法被检测到(请参阅以下截图)。

换句话来说,如果只是在各视频帧上进行人脸检测,大家将无法绘制出如上所示的时间线。要获得这样的时间线,我们必须有能力跨越视频分段追踪面部,并考虑其中出现的脸部侧面视图。Video Indexer能够追踪面部,这意味着您将能够看到之前展示的完整时间轴。

使用光学字符识别提取主题/关键词

请看以下两帧内容。

这两帧来自主讲人在舞台上进行演讲的视频,后面背景墙上的“Microsoft”一词一直时隐时现。作为人类观看者,我们当然能够轻松推断出其显示的是“Microsoft”。但如果在这两张图片上运行OCR,输出结果将只有“Microsc”与“crosoft”。如果在视频剪辑当中处理完整的视频帧序列,您会得到大量这种残缺不全的词汇。为了顺利从镜头中提取到正确且完整的词汇,您需要对这种部分词汇应用算法。Video Indexer能够实现这项功能,并从视频当中获得更好的分析见解。

人脸识别

人脸识别系统由人脸数据库组成,而该人脸数据库则包含一组指向不同人物对象的训练用图像。其还提供一项查询功能,用于从查询图像当中提取面部特征,并将其与人脸数据库相匹配。查询函数的输出结果包含可能的匹配列表以及置信度值。查询功能的输出质量,将取决于人脸数据库与查询图像的实际质量。

在视频处理场景下,其中将包含多个视频帧,且人物会配合不同的头部姿态及照明条件亮相。我们当然可以在每位人物出场时采取逐帧处理的方式进行人脸识别系统查询,但这种作法可能导致各帧之间出现不同的人脸匹配结论与存在巨大差异的置信度值。换句话来说,我们需要使用额外的逻辑层来确定人脸匹配结果。作为优化手段,我们可以选择合适的帧子集进行有针对性的人脸识别系统查询,从而减少该系统的实际查询次数。

在处理视频时,我们还可以通过使用来自多个视频帧的人物训练图像整理变化趋势,从而构建并增强人脸数据库。另外,大家也能够建立逻辑以追踪跨帧人物并利用启发式算法评估其中的变化。 Video Indexer同样能够实现这一功能,意味着用户将能够从当前视频当中构建起质量更高的人脸数据库成果。

原文标题:How is AI for video different from AI for images

更多AI内容,请关注公众号:AI推手

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

视频 AI 图像
上一篇:京东物流不断壮大智能化的同时也在抢夺快递员小哥的工作 下一篇:一种利用用户搜索日志进行多任务学习的商品标题压缩方法
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI核心难点之一:情感分析的常见类型与挑战

情感分析或情感人工智能,在商业应用中通常被称为意见挖掘,是自然语言处理(NLP)的一个非常流行的应用。文本处理是该技术最大的分支,但并不是唯一的分支。情绪AI有三种类型及其组合。

Veronika Vartanova ·  2天前
机器学习帮你预测电池寿命:精确了解电池还能充几次

电池寿命的确定,是移动硬件发展的重要一环,但是由于电池电化学反应的不确定性以及不同的使用环境和习惯,电池寿命变成了一门玄学。不过柏林的三位小伙伴,利用Tensorflow,在原有的预测体系基础上。更近一步,完成了电池的全寿命预测。

靓科技解读 ·  3天前
专家认为对“人工智能+教育”应持审慎态度

随着人工智能不断发展,人脸识别技术被越来越多地应用于校园中。据了解,一所知名大学2019级新生“刷脸”就能瞬间完成报到程序,系统是这所学校的学生研发的,学生对着摄像头,人脸识别系统就开始进行比对,眨眼间就能完成扫描,整个报到注册手续几乎不到一秒钟。

新华网客户端 ·  3天前
人脸识别有风险,美国全面禁止,可为什么中国却全面推广?

对于大多数人而言,最先接触的就是指纹识别,对指纹识别的了解程度也相对比较深一些,然而随着科技的不断发展,人脸识别也越来越普及,所谓的人脸识别就是基于人的脸部特征信息进行身份识别的一种生物识别技术,用摄像头或摄像机采集含有人脸的图像或视频,并自动在图像中检测和跟踪人脸,对其进行一系列的相关技术,最后进行辨别完成自己想要完成的项目。

测评前线说 ·  4天前
AI的时代,你的职业还在吗?

目前人工智能(Artificial Intelligence,简称AI)的技术到底发展到啥情况了?如果未来AI在我们社会上全面应用之后,会对咱们的生活会带来多大的帮助?

奎哥 ·  4天前
人工智能改善教育的32种方式

在人工智能赋能教育的实践探索上,国外已经有了许多工具和应用,总结起来,可以分为改进教学和改进管理两个大的方面,共32个细分领域。改进教学是人工智能对教与学实践的促进,改进管理则是对校园管理等后勤行政方面的效用提升。

就要买买买 ·  4天前
谁在为“AI+教育”试错买单?

在教育行业,似乎AI作为一个辅助工具出现更为合适,企业在资本浪潮簇拥着前进的时候,更应该想清楚是教育的本质,以及商业模式是否行得通,否则等资本的泡沫褪去,留下的也不过是满地鸡毛。

大鱼 ·  2019-10-09 16:49:57
人工智能图像放大器,完全免费!一键告别渣像素

你可以在互联网上找到一些解决方案,以快速进行拍摄后期制作。该AI图像放大器采用人工智能和机器学习技术放大任何图像。它可以保持图像质量而不会像素化。

科技有点牛 ·  2019-10-09 14:47:26
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载