让梦露和龙妈学着你说话,只需一张静态图和一个视频

作者: 十三 2020-04-28 10:32:37

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

想让名人学着你说话,怎么办?

很简单,只要一张名人的照片,配上你说话的视频,分分钟就能搞定。

来看下效果:

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

无论你是挤眉弄眼,还是摇头晃脑,照片里的名人们都能跟你神同步

这就是来自意大利特伦托大学的一项研究:

利用一个一阶运动模型 (First Order Motion Model),静态图也能动起来,换脸也不在话下。

当然,这么有意思的项目,已经开源了!

一个川普在说话,一群史塔克也有话说

其实,这项研究早在数月前便已发表。

当时用的输入视频是川建国同志,静态照片用的是一组《冰与火之歌》史塔克家族及剧中其他人物图片。

效果是这样的:

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

可以看到,无论川建国同志是眨眼、晃头,剧中的人物做到了神同步。

就连那张标志性的O型嘴,也“模仿”的惟妙惟肖。

而时隔几个月,这项技术又在Reddit爆火了起来。

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

一个可能的原因是,这次输入的视频来自流行的短视频平台,也就是说我们自己录一段视频也能用。

加上效果的逼真、有趣,或许用不了多长时间,短视频内容平台可能就会推出这个功能了吧。

当然,这个模型的魔力不止于此。

输入一个模特换pose的视频,再配上多张静态服饰照片,就能批量输出动态展示服装的视频了。

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

换脸,也是小菜一碟。

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

不过,也要温馨提醒一句:慎用静态照片,不然出来的效果可能就不太像“阳间的东西”了……

一阶运动模型

在训练阶段,研究人员采用了大量的视频序列集合,包含相同类别的对象。模型通过结合视频中的单帧,和学习到的潜在运动表示,来训练重构视频。

在测试阶段,研究人员将模型应用于由源图像和驱动视频的每一帧组成的对,并执行源对象的图像动画。

模型的框架就如下图所示:

让梦露和龙妈学着你说话,只需一张静态图和一个视频 | 项目开源

框架主要由2部分构成:运动估计模块图像生成模块

运动估计模块的目的,是预测一个密集的运动场。研究人员假设存在一个抽象的参考框架,并且独立估计两个变换,分别是「从参考到源」和「从参考到驱动」。这样就能够独立处理源帧和驱动帧。

研究人员认为这个步骤是必要的,因为在测试时,模型会接收从不同视频中采样的源图像和驱动帧对,它们在视觉上可能非常不同。

在第一步中,研究人员从稀疏轨迹集近似这两种变换,通过使用以自监督方式学习的关键点来获得。利用局部仿射变换对每个关键点附近的运动进行建模。

在第二步中,密集运动网络结合局部近似得到密集运动场。除此之外,这个网络还输出遮挡的mask,指示哪些图像的驱动部分可以通过源图像的扭曲(warping)来重建,哪些部分应该被绘制(根据上下文推断)。

在第三步中,生成模块按照驱动视频中,提供的源对象移动的图像进行渲染。此处,研究人员使用一个生成器网络,根据密集的运动对源图像进行扭曲,并对源图像中被遮挡的图像部分进行着色。

最后,这个模型已经在GitHub上开源,我们在“传送门”中已经奉上地址链接。

快去试试吧~

传送门

GitHub项目地址:
https://github.com/AliaksandrSiarohin/first-order-model

论文地址:
https://arxiv.org/pdf/2003.00196.pdf

AI 视频 开源
上一篇:突发!影像AI公司汇医慧影被黑客入侵,新冠研究成果被公开出售 下一篇:生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI能成科学家的工具人?Nature采访五位顶尖学者:学会写代码,降低期望

AI 对于其他领域的科研来说是一个极其好用的工具,DNA测序、天文地理甚至艺术领域都必须要用到AI 模型来提供灵感。最近Nature 采访了五位跨领域的专家,听听他们对于AI 工具人有什么想法?

佚名 ·  1天前
AI大牛周明打造轻量“孟子模型”开源!靠10亿参数冲上CLUE榜第三

只用10亿参数就杀进中文自然语言理解CLUE榜单前三的孟子模型,现在开源了!

明敏 ·  2天前
神经元簇发能模拟 AI 学习策略

由渥太华大学 Richard Naud 与麦吉尔大学和 Mila AI 研究所 Blake Richards 领导的一组研究人员发现了一种大脑学习算法的新模型,该模型可以模拟反向传播过程。

佚名 ·  2天前
魔法一样隔空在屏幕写字,捏起手指就能实现!

这是一个用来写写画画的手部跟踪程序,开发者将它命名为YoHa(Your Hand Tracking)。

兴坤 ·  2天前
业务数据全用上也喂不饱AI?试试这个小样本学习工具包

在计算机视觉、自然语言处理等大领域下,从深度学习最初大放异彩的图像分类、文本分类,到进一步的图像生成、文本关系预测,机器学习算法取得的成就大多建立在大量数据驱动的训练算法之上。

王雅晴 ·  3天前
假3D场景逼真到火爆外网!超1亿像素无死角,被赞AI渲染新高度

这篇论文提出了一种基于点的可微神经渲染流水线ADOP(Approximate Differentiable One-Pixel Point Rendering),用AI分析输入图像,并输出新角度的新图像。

佚名 ·  4天前
MIT开发新AI工具 加速新3D打印材料的发现

为了减少发现这些新材料所需的时间,麻省理工学院的研究人员开发了一种数据驱动的程序,使用机器学习来优化具有多种特性的新 3D 打印材料,如韧性和压缩强度。

佚名 ·  4天前
中英文超大AI模型世界纪录产生,大模型竞赛新阶段来了

英伟达与微软联合发布了5300亿参数的“威震天-图灵”(Megatron-Turing),成为迄今为止全球最大AI单体模型。

边策 ·  2021-10-15 15:26:10
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载