视频PS神器!人物隐身、水印去除,这项登上CVPR的研究刚刚开源了

作者: 鬼栗子 郭一璞 2019-07-16 08:09:32

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

让一个人的踪影从视频中消失,总是一个难题。

毕竟,你永远不知道,录好的节目里,哪个明星艺人会突然翻车,形象大跌,后期团队被迫紧急加班,用各种方式掩盖他们的痕迹。

比如,某卫视春晚,强行让一位背上骂名的主持人消失:

视频PS神器!人物隐身、水印去除,简直像重拍了一遍,这项登上CVPR的研究刚刚开源了

以及某综艺节目,把言行不当的艺人改成了卡通人物:

要是有个AI,能一键把这些人物都删掉,还让观众看不出纰漏就好了。

现在,一项CVPR 2019上的研究,让这个需求变成了现实。

美队3举个例子,机场大战中,飞舞的红色小人就是被标记出来的蜘蛛侠,他正在用蜘蛛丝把蚁人绑起来。

现在,AI出马,蜘蛛侠不见了,留下蚁人独自被被蜘蛛丝捆绑纠缠,仿佛这些蜘蛛丝拥有了自动捆绑功能。

再比如,《疯狂动物城》里的兔兔朱迪,也被用红色标注了。它本来在冰面上奔跑,爬上冰山,耐不住滑溜溜的冰面,掉进了水里。

在AI出手之后,朱迪就免去了爬冰之苦,镜头里只有他留在冰面上的影子。

原本人物的位置,被修复的非常完美,压根看不出来曾经有只兔兔被抠了出去,就好像电影的动画团队把这个镜头重新做了一遍。

看到这样的效果,不知道上面那两部节目的后期会不会哭晕:长期加班搞出来的效果,别人家的AI就自动完成了,而且毫无违和感,让人物消失的无影无踪。

另外,估计拍vlog的视频播主们也会开心的不行:再也不担心网红打卡地遍地都是人了,直接用AI删掉多方便!

背后的AI,是名叫光流引导 (Flow-Guided) 的视频修复算法。它主要来自商汤港中大联合实验室和商汤南洋理工联合实验室,有周博磊大神参与,中选了CVPR 2019

GitHub预告链接放出许久之后,这项研究的代码,刚刚开源

而在放出之前,也已经有245位GitHub用户标了星,翘首以待。

视频PS神器!人物隐身、水印去除,简直像重拍了一遍,这项登上CVPR的研究刚刚开源了

那么问题来了,在一片热闹的景象里,抹掉一个剧烈运动的人物,怎么会这般轻松自如?

追光者

就像开头提到的那样,隐身术是用光流 (Optical Flow) 炼成的。

所谓光流,视觉上长这样:

 左边是遮挡版,右边是AI补全版

事实上,它是描述物体运动情况的一个概念,James Gibson在1950年就提出了:

指的是空间运动的物体在观察平面上,像素运动的瞬时速度。观察者嘛,可以是人类的肉眼,也可以是摄像机。

在摄像机拍下的视频里,帧与帧之间是有时间顺序的,这样就可以从相邻两帧之间算出光流,那就是物体的运动信息。

学到这样的信息,可以用来做目标检测,也可以用来修改视频。

团队开发了一个两步的算法:

第一步,估计光流。第二步,用光流来指导修复。

 上为第一步,下为第二步

现在,把这两步拆解一下。

第一步,光流估计,把视频上的某个部分挡住,AI要把这一部分的光流补充完整。

比如,下图的红色就是遮挡部分。

团队设计了一个叫做DFC-Net的网络,学着把不完整的光流补充完整。

而在AI的训练数据里,遮挡是随机生成的,对照完整的视频来学习:

左边是随机遮挡;右边是遮挡之后 (用简单填充算法初始化得到) 的光流,等待补全;中间是标答。

DFC-Net有三个子网络。第一个子网络,负责在一个粗糙尺度上补全光流;把结果交给第二个子网络,细化一下。再交给第三个网络,进一步细化:

这样,就有了最终的光流补全结果。

第二步,就该根据光流来修复视频了。

原理是,某一帧里被遮挡的信息,在其他帧里可能是存在的。根据光流提供的运动信息,就可以用其他帧里的已知像素,来填补当前帧的未知像素了。

当然,还有一些信息,整段视频都没显示。这一部分,就要靠传统图像修复网络Deepfill来脑补了。

讲完原理,来全方位观察一下,算法的功效究竟如何。

完美消失的马术选手

新的方法怎样,要和优秀的前辈比一场才知道。

对手有两位,一是来自CVPR 2018的Deepfill,二是Huang et al出品、中选SIGGRAPH 2016的算法。

这是第一题,把马术选手和ta的马,从视频里面抹掉:

Deepfill (右上) 单靠脑补,马的痕迹十分明显;Huang et al (左下) 自然了许多,但依然有些灰蒙蒙的残留;相比之下,新算法修过的视频,只留下了地上的影子。

还有第二题,把轮滑妹子面前的水印去掉:

下面是Huang et al前辈的结果,当妹子跳过水印原本的位置,依然看得出不少灰色的污迹:

而本文主角修复的结果,几乎看不出视频曾经有过水印:

当然,不止是肉眼观察的结果,这只新的AI在YouTube-VOS和DAVIS两大数据集上,得分都比前辈更胜一筹:

另外,研究者们还找了30名吃瓜群众,仔细测试人类的观感。

首先在目标移除方面,将近80%的用户认为第一名应当是这项研究 (蓝色部分) 。

而在背景填充方面,也有近七成用户认为这项研究的填充效果是最好的。

港中大&商汤联合出品

研究人员中,有三位来自港中大商汤联合实验室,一位来自南洋理工大学。

一作徐瑞和二作李晓潇都是港中大商汤联合实验室的博士,李晓潇曾在分别在2017年和2018年的DAVIS Challenge on Video Object Segmentation赢得了冠军和亚军。

第三位作者周博磊目前是港中大信息工程系助理教授,他去年刚从MIT博士毕业,现在h-index就高达25了,曾获得MSRA和Facebook的奖金。

Places2和ADE20K两个数据集都是他参与的作品,Network Dissection和Class Activation Mapping也是他的代表作品。

最后一位作者吕健勤(Chen Change Loy),博士毕业于伦敦玛丽女王大学,现在是南洋理工大学计算机科学与工程学院的副教授,他同时还是港中大的客座副教授,此前也一直在港中大多媒体实验室任教。

吕健勤教授带领团队进行了许多和计算机视觉、图像处理相关的研究。近两年,他还在CVPR 2019、BMVC 2019、ECCV 2018和BMVC 2018几场顶会担任区域主席,他也是IJCV杂志副主编。

一个彩蛋

你看,刻苦练习之后,身为一只兔子的朱迪,用优秀的弹跳能力弥补了身高劣势,反超队友:

但实力还是可以隐藏的,于是她又把自己融进了雪水:

论文:

Deep Flow-Guided Video Inpainting

Rui Xu, Xiaoxiao Li, Bolei Zhou, Chen Change Loy

https://arxiv.org/abs/1905.02884

项目主页:

https://nbei.github.io/video-inpainting.html

开源代码:

https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting

开源 技术 趋势
上一篇:图解NumPy,这是形象理解数组的一份教程 下一篇:欲做图数据领域的Oracle 费马科技有啥过人之处?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

刷题太遭罪怎么办?这个算法基地专为小白量身打造,还带动画

学习算法可能并不只是拼智商,可以通过后天的学习进行掌握,这就需要讲究技巧。方法找对了,可以起到事半功倍的效果。

机器之心 ·  2021-03-25 16:32:24
多所名校联合Adobe,用这项开源算法「透视」了一封300多年前的信

最近,一项技术帮助历史学家们解决了这一难题——科学家们首次在不打开、不破坏信件的前提下“阅读”了封印的古老信件。

付静 ·  2021-03-09 09:57:33
她因重仓马斯克和比特币封神!现在分享了十大2021技术趋势

她,凯瑟琳·伍德(Catherine Wood),因为连续押中特斯拉、Zoom、比特币等被封为“牛市女皇”。

杨净 ·  2021-01-28 15:31:02
京东开源人脸识别工具包:覆盖最强模型,支持训练跑分

近年来,基于深度学习的人脸识别技术取得了重要进展。但是人脸识别模型的实际部署和深入研究都需要相应的公众支持。

泽南 ·  2021-01-25 21:01:42
如何通过开源协作推进人工智能的发展

人工智能如今成为行业组织炒作和宣传的术语之一,也有人提出一些问题:其潜力到底有多大?它会增强人类的地位还是使人类不再具有竞争力?真的具有革命性意义吗?

Rui Vasconcelos ·  2021-01-22 10:41:40
2020年十大趋势机器学习项目

我们处于2021年初,在过去的一年中,机器学习社区发生了很多事情。不用浪费时间,这里是最流行,趋势最明显的开源研究项目,演示和原型的导览。从照片编辑到NLP,再到带有"无代码"的训练模型,我希望它们能激发您开发出令人难以置信的AI驱动产品。

闻数起舞 ·  2021-01-17 23:03:15
15个可交互的真实房屋场景,李飞飞组开源大型室内场景模拟环境

在这项研究中,斯坦福视觉与学习实验室(SVL)Silvio / 李飞飞组的研究者推出了一个全新的模拟环境 iGibson,从而可以为大型真实场景中的交互任务开发机器人解决方案。

沈博魁、夏斐、李承澍、Roberto Martín-Martín ·  2020-12-11 08:54:40
美国开发全新开源AI算法:马赛克美女自动还原

看到模糊的照片,是不是有还原真实面目的冲动?以前的技术做不到,在AI时代一切皆有可能。美国杜克大学开发的AI算法就可以做到马赛克图片变高清。

宪瑞 ·  2020-12-02 15:07:23
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载