仅需2张图,AI便可生成完整运动过程

作者: 金磊 2021-05-06 09:12:29

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

先给一张侧脸(关键帧1):

仅需2张图,AI便可生成完整运动过程

再给一张正脸(关键帧2):

仅需2张图,AI便可生成完整运动过程

然后仅仅根据这两张图片,AI处理了一下,便能生成整个运动过程

仅需2张图,AI便可生成完整运动过程

而且不只是简单的那种,连在运动过程中的眨眼动作也“照顾”得很到位。

效果一出,便在Reddit上引发了不少热议:

仅需2张图,AI便可生成完整运动过程

仅需2个关键帧,如何实现完整运动?

不需要冗长的训练过程。

不需要大量的训练数据集。

这是论文作者对本次工作提出的两大亮点。

具体而言,这项工作就是基于关键帧将视频风格化。

先输入一个视频序列 I ,它由N个帧组织,每一帧都有一个掩膜Mi来划分感兴趣的区域。

与此前方法不同的是,这种风格迁移是以随机顺序进行的,不需要等待顺序靠前的帧先完成风格化,也不需要对来自不同关键帧的风格化内容进行显式合并。

仅需2张图,AI便可生成完整运动过程

也就是说,该方法实际上是一种翻译过滤器,可以快速从几个异构的手绘示例 Sk 中学习风格,并将其“翻译”给视频序列 I 中的任何一帧。

这个图像转换框架基于 U-net 实现。并且,研究人员采用基于图像块 (patch-based)的训练方式和抑制视频闪烁的解决方案,解决了少样本训练和时间一致性的问题。

而为了避免过拟合,研究人员采用了基于图像块的训练策略。

从原始关键帧(Ik)中随机抽取一组图像块(a),在网络中生成它们的风格化对应块(b)。

然后,计算这些风格化对应块(b)相对于从风格化关键帧(Sk)中取样对应图像块的损失,并对误差进行反向传播。

这样的训练方案不限于任何特定的损失函数。本项研究中,采用的是L1损失、对抗性损失和VGG损失的组合。

仅需2张图,AI便可生成完整运动过程

另一个问题便是超参数的优化

这是因为不当的超参数可能会导致推理质量低下。

仅需2张图,AI便可生成完整运动过程

研究人员使用网格搜索法,对超参数的4维空间进行采样:Wp——训练图像块的大小;Nb——一个batch中块的数量;α——学习率;Nr——ResNet块的数量。

对于每一个超参数设置:

(1)执行给定时间训练;

(2)对不可见帧进行推理;

(3)计算推理出的帧(O4)和真实值(GT4)之间的损失。

而目标就是将这个损失最小化。

仅需2张图,AI便可生成完整运动过程

团队介绍

这项研究一作为Ondřej Texler,布拉格捷克理工大学计算机图形与交互系的博士生。

仅需2张图,AI便可生成完整运动过程

而除了此次的工作之外,先前他和团队也曾做过许多有意思的工作。

例如一边画着手绘画,一边让它动起来。

仅需2张图,AI便可生成完整运动过程

再例如给一张卡通图片,便可让视频中的你顶着这张图“声情并茂”。

仅需2张图,AI便可生成完整运动过程

想了解更多有趣的研究,可戳下方链接。

参考链接:

[1]https://www.reddit.com/r/MachineLearning/comments/n3b1m6/r_fewshot_patchbased_training_siggraph_2020_dr/
[2]https://ondrejtexler.github.io/patch-based_training/index.html

AI 数据 人工智能
上一篇:谷歌人工智能实验室DeepMind将在加拿大招募研究人员 下一篇:从“几何深度学习”看深度学习江湖的统一
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

面部识别的利与弊:是福还是祸?

虽然现代技术使面部识别更加精确和安全,但与面部识别隐私问题和监控有关的担忧也在增加。因此,让我们在这篇文章中探讨一下这该技术的利与弊。

Naveen Joshi ·  2021-06-01 16:36:22
人工智能和5G如何结合以实现物联网收入最大化

网络系统通过信令和使用软件以及分析来检测和分类设备非常棘手,并且对有限且日益紧张的网络资源提出了巨大的需求。然而,解决这些问题有一个主要解决方案:采用人工智能、自动化和5G技术。

Jordi Castellvi ·  2021-06-01 13:49:15
MIT团队最新研究,仅靠LiDAR和2D地图实现端到端自动驾驶

最近, MIT 计算机科学与人工智能实验室(CSAIL)团队成功展示了一种基于机器学习的自动驾驶系统,该端到端框架仅使用 LiDAR获取的原始 3D 点云数据和类似于手机上的低分辨率 GPS 地图就能进行自主导航,并且大大提升了鲁棒性。

文龙 ·  2021-06-01 12:47:51
自然语言处理(NLP)的历史及其发展方向

自然语言处理的历史是一个充满曲折的故事。它从徒劳的研究开始,经过多年卓有成效的工作,最后结束于一个我们仍在试图找出该领域极限的时代。今天,让我们来一起探索这一AI科学分支的发展。

佚名 ·  2021-06-01 12:46:26
是福还是祸?人脸识别技术的利与弊

面部识别并不是一项全新的技术,但人工智能和机器学习不断使面部识别变得更好。苹果通过引入具有 3D 扫描功能的面部生物识别系统和 iPhone 的 Face ID,提高了面部识别的标准。

Naveen Joshi ·  2021-06-01 11:11:01
人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
高真实感、全局一致、外观精细,面向模糊目标的NeRF方案出炉

自 NeRF 被提出后,有多项研究对其加以改进。在本篇论文中,上海科技大学的研究者提出了首个将显式不透明监督和卷积机制结合到神经辐射场框架中以实现高质量外观的方案。

Haimin Luo等 ·  2021-06-01 09:57:39
大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载