聚焦解析:视频用AI与图像用AI的区别

编译作者: 核子可乐译 2018-02-25 17:09:30

【51CTO.com快译】与图像处理相比,从视频当中提取见解或使用AI技术既带来新的挑战,同时也提供可观的优化赊。有一种误解认为,视频AI只是简单从视频素材当中提取特定帧,并对各视频帧运行计算机视觉算法。虽然这种作法确实可行,但却并不能真正带来分析见解。在今天的文章中,我们将通过几项实例来了解这种处理单一视频帧方法的缺点。但考虑到篇幅有限,这里我不会详细讨论克服这些缺点所需要的其它算法。感兴趣的朋友可以参考Video Indexer,其提供了多种能够实现此类目标的特定视频算法。

视频中出现的人物

我们一起来看以下[视频]中的前25秒

请注意,在这25秒当中Doug一直出现在画面之内。

如果要为Doug在视频当中出现的情况绘制一条时间线,则应该如下图所示。

请注意,在这一过程当中Doug并非全程面向镜头。在视频的第7秒当中,他有在盯着Emily——第23秒也出现了同样的情况。

如果您在视频中的对应时段之内运行人脸检测,则Doug的面部将无法被检测到(请参阅以下截图)。

换句话来说,如果只是在各视频帧上进行人脸检测,大家将无法绘制出如上所示的时间线。要获得这样的时间线,我们必须有能力跨越视频分段追踪面部,并考虑其中出现的脸部侧面视图。Video Indexer能够追踪面部,这意味着您将能够看到之前展示的完整时间轴。

使用光学字符识别提取主题/关键词

请看以下两帧内容。

这两帧来自主讲人在舞台上进行演讲的视频,后面背景墙上的“Microsoft”一词一直时隐时现。作为人类观看者,我们当然能够轻松推断出其显示的是“Microsoft”。但如果在这两张图片上运行OCR,输出结果将只有“Microsc”与“crosoft”。如果在视频剪辑当中处理完整的视频帧序列,您会得到大量这种残缺不全的词汇。为了顺利从镜头中提取到正确且完整的词汇,您需要对这种部分词汇应用算法。Video Indexer能够实现这项功能,并从视频当中获得更好的分析见解。

人脸识别

人脸识别系统由人脸数据库组成,而该人脸数据库则包含一组指向不同人物对象的训练用图像。其还提供一项查询功能,用于从查询图像当中提取面部特征,并将其与人脸数据库相匹配。查询函数的输出结果包含可能的匹配列表以及置信度值。查询功能的输出质量,将取决于人脸数据库与查询图像的实际质量。

在视频处理场景下,其中将包含多个视频帧,且人物会配合不同的头部姿态及照明条件亮相。我们当然可以在每位人物出场时采取逐帧处理的方式进行人脸识别系统查询,但这种作法可能导致各帧之间出现不同的人脸匹配结论与存在巨大差异的置信度值。换句话来说,我们需要使用额外的逻辑层来确定人脸匹配结果。作为优化手段,我们可以选择合适的帧子集进行有针对性的人脸识别系统查询,从而减少该系统的实际查询次数。

在处理视频时,我们还可以通过使用来自多个视频帧的人物训练图像整理变化趋势,从而构建并增强人脸数据库。另外,大家也能够建立逻辑以追踪跨帧人物并利用启发式算法评估其中的变化。 Video Indexer同样能够实现这一功能,意味着用户将能够从当前视频当中构建起质量更高的人脸数据库成果。

原文标题:How is AI for video different from AI for images

更多AI内容,请关注公众号:AI推手

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

视频 AI 图像
上一篇:MWC2018召开在即 人工智能将成焦点 下一篇:半机器人时代有望到来:届时人类身体被机器替换
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

违规企业可面临营业额6%罚款 欧盟欲加强对人工智能技术监管

据外媒报道,欧盟委员会近日修订文件显示,如有企业违反欧盟规则使用被禁止的人工智能应用,可能会面临最多相当于其全球营业额6%的罚款,这一数字高于此前提议的4%。

贾桂鹏 ·  1天前
有了这支矢量神经风格画笔,无需GAN也可生成精美绘画

一种新的神经风格画笔能够生成矢量形式的绘画作品,在统一框架下支持油画、马克笔、水彩画等多种笔触,并可进一步风格化。

机器之心 ·  1天前
通过AI和ML实现完全自动化的5种绝佳方法

在本文中,我们将讨论使用AI和ML的智能测试自动化技术如何帮助项目团队减少测试工作并提高测试覆盖率。

佚名 ·  1天前
无人机都能拿来做什么?这些用途太给力了!

无人机如今已越发普及,甚至几百块钱就可以买到一台带有高清摄像头的机器,但是我们日常使用无人机都只是用来拍照片、视频,其实在军事等领域,无人机的用途更大。

科技星空plus ·  1天前
“象鼻”机器人来了!拧瓶盖、做家务不在话下!

我们对于机器人的传统印象都是方方正正、冷冰冰的机器,或者是长得像人类的机器,而很少有软体机器人的出现,尤其是柔韧灵活的软体机器人,最近中科大研发出一款像大象鼻子一样的机器人,不仅成本低廉,还能独立实现很多日常中的小任务。

时尚小马甲 ·  1天前
余圣琪:人脸识别技术的风险与法律规制

在数字时代,人脸识别技术的运用不仅给人们的生活以及社会治理等领域带来了便利,但也给隐私权保护、财产权益和人权保护带来了法律风险。我国需要建构统一的法律规范体系、建立政府主导的多重治理机制、塑造“数字人权”的正义观等规制方式,在保护公民权益的同时促进新技术的运用和发展。

余圣琪 ·  1天前
人工智能将成为抵押贷款行业游戏规则的改变者

根据调研机构Gartner公司进行的一项调查,部署了人工智能的组织如今增长到了14%。但从“非人工智能”到“全人工智能”的快速转型浪潮并没有影响抵押贷款行业的发展。

HERO ·  1天前
如何掌握后疫情时代的成功密码?还得看AI和自动化

AI与人类同行协作,这些强大的技术不仅能让企业变得更加拟人化,而且还能为客户提供更大的价值。

计算机世界 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载