聚焦解析:视频用AI与图像用AI的区别

编译作者: 核子可乐译 2018-02-25 17:09:30

【51CTO.com快译】与图像处理相比,从视频当中提取见解或使用AI技术既带来新的挑战,同时也提供可观的优化赊。有一种误解认为,视频AI只是简单从视频素材当中提取特定帧,并对各视频帧运行计算机视觉算法。虽然这种作法确实可行,但却并不能真正带来分析见解。在今天的文章中,我们将通过几项实例来了解这种处理单一视频帧方法的缺点。但考虑到篇幅有限,这里我不会详细讨论克服这些缺点所需要的其它算法。感兴趣的朋友可以参考Video Indexer,其提供了多种能够实现此类目标的特定视频算法。

视频中出现的人物

我们一起来看以下[视频]中的前25秒

请注意,在这25秒当中Doug一直出现在画面之内。

如果要为Doug在视频当中出现的情况绘制一条时间线,则应该如下图所示。

请注意,在这一过程当中Doug并非全程面向镜头。在视频的第7秒当中,他有在盯着Emily——第23秒也出现了同样的情况。

如果您在视频中的对应时段之内运行人脸检测,则Doug的面部将无法被检测到(请参阅以下截图)。

换句话来说,如果只是在各视频帧上进行人脸检测,大家将无法绘制出如上所示的时间线。要获得这样的时间线,我们必须有能力跨越视频分段追踪面部,并考虑其中出现的脸部侧面视图。Video Indexer能够追踪面部,这意味着您将能够看到之前展示的完整时间轴。

使用光学字符识别提取主题/关键词

请看以下两帧内容。

这两帧来自主讲人在舞台上进行演讲的视频,后面背景墙上的“Microsoft”一词一直时隐时现。作为人类观看者,我们当然能够轻松推断出其显示的是“Microsoft”。但如果在这两张图片上运行OCR,输出结果将只有“Microsc”与“crosoft”。如果在视频剪辑当中处理完整的视频帧序列,您会得到大量这种残缺不全的词汇。为了顺利从镜头中提取到正确且完整的词汇,您需要对这种部分词汇应用算法。Video Indexer能够实现这项功能,并从视频当中获得更好的分析见解。

人脸识别

人脸识别系统由人脸数据库组成,而该人脸数据库则包含一组指向不同人物对象的训练用图像。其还提供一项查询功能,用于从查询图像当中提取面部特征,并将其与人脸数据库相匹配。查询函数的输出结果包含可能的匹配列表以及置信度值。查询功能的输出质量,将取决于人脸数据库与查询图像的实际质量。

在视频处理场景下,其中将包含多个视频帧,且人物会配合不同的头部姿态及照明条件亮相。我们当然可以在每位人物出场时采取逐帧处理的方式进行人脸识别系统查询,但这种作法可能导致各帧之间出现不同的人脸匹配结论与存在巨大差异的置信度值。换句话来说,我们需要使用额外的逻辑层来确定人脸匹配结果。作为优化手段,我们可以选择合适的帧子集进行有针对性的人脸识别系统查询,从而减少该系统的实际查询次数。

在处理视频时,我们还可以通过使用来自多个视频帧的人物训练图像整理变化趋势,从而构建并增强人脸数据库。另外,大家也能够建立逻辑以追踪跨帧人物并利用启发式算法评估其中的变化。 Video Indexer同样能够实现这一功能,意味着用户将能够从当前视频当中构建起质量更高的人脸数据库成果。

原文标题:How is AI for video different from AI for images

更多AI内容,请关注公众号:AI推手

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

视频 AI 图像
上一篇:MWC2018召开在即 人工智能将成焦点 下一篇:半机器人时代有望到来:届时人类身体被机器替换
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
美城市Baltimore可能颁布最严格的面部识别禁令

据介绍,拟议的法令将禁止私人或商业组织,甚至执法机构在城市使用面部识别技术。

千家网 ·  2021-06-01 09:34:07
当“追风筝的人”遇上了无人机……

随着我国用电需求的不断增长,电网建设的持续扩大,“追风筝的人”愈发力不从心。在逐渐增大的电力运维压力面前,电力工人由于作业效率、范围、成本、安全性和作业环境等方面的限制,愈发难以满足行业发展需求。在此背景下,无人机带来了福音。

智能制造网 ·  2021-05-31 20:48:45
大流行是否改变了人工智能的地位,从“想要”到“必须”?

在一个受新冠肺炎及其后果影响的世界里,采用人工智能正在成为一种主流现实。越来越多的行业正在以前所未有的速度试验和适应人工智能,无论是健康、教育、零售还是制造业。

Cassie ·  2021-05-31 18:17:50
日本将向月球发送变形机器人球:整颗球重250g

5月31日消息,据外媒报道称,日本将发送一颗长相特别的球型机器人到月球去。据悉,这个球型机器人由日本宇宙航空研究开发机构 (JAXA) 与索尼、同志社大学和玩具制造商 Tomy 合作开发,未来,其在抵达月球表面后,会“展开”成药丸型完整装置,捕捉月球表面的图像并且以研究月球土壤为主要目标。

环球网 ·  2021-05-31 15:15:09
值得关注 人工智能这5大趋势将给世界带来影响

人工智能不再是未来的技术。将我们日常工作自动化的机器变得越来越聪明,人工智能对我们生活的影响超出了我们的想象。在过去的十年中,我们见证了对人工智能相关技术的需求显著增长。

Yu ·  2021-05-31 15:14:35
AI时代,需要发挥知识图谱+知识管理的双轮价值

AI时代,需要发挥知识图谱+知识管理的双轮价值,才能真正实现从流程驱动、数据驱动走向知识驱动。

东方林语 ·  2021-05-31 09:15:14
市场规模将突破22亿?教育机器人发展迅速

除了科普类教育机器人,近年来用于家庭教育、辅助教学的各型教育机器人层出不穷,越来越频繁地出现了人们的日常生活当中。由于教育机器人的发展势如破竹,受到了业内及资本力量广泛关注。

智能制造网 ·  2021-05-28 17:31:50
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载