这个AI能帮女朋友自拍：照片生成3D视频
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。
爱自拍的女生，为了拍一张美照总是需要很久，就是为了找到最美的角度。
比如这位妹子，在自己的书架前拍了4张自拍照，都不太满意。
现在可以把选最美角度这件事交给AI了，让妹子不再苦恼。只要几张照片，它能从中生成各种角度的自拍。
然后，你可以在AI生成的视频里，找到一个自认为最美的角度，分享到朋友圈。
这个AI就是华盛顿大学和谷歌联合开发的nerfies。
这种方法不需要太复杂的设备，只要智能手机的摄像头和CPU就能完成运算和渲染。这可比iPhone 12 Pro用内置激光雷达来生成3D图像的成本低多了。
原理
看到nerfies这个名字是不是有种似曾相识的感觉？nerfies其实就是NeRF+Selfies两个单词合并而来。
NeRF（神经辐射场）是谷歌最近开发的一种2D图像转3D的模型，但NeRF要求拍摄对象在整个过程保持完全静止。
比如，上面的妹子在自拍4张照片的时候，头部姿势不可避免地会发生变化，如果直接套用NeRF，效果惨不忍睹。
而nerfies则是可变性神经辐射场（Deformable NeRF），它能够重建非刚性变形的场景。
在NeRF的基础上，作者从几何和物理模拟的原理出发，提出了NeRF的弹性正则化，进一步提高了2D转3D的鲁棒性。
在可变性NeRF中，作者引入了弹性正则化、背景正则化以及一种可避免不良的局部最小值退火技术。
作者将潜在变形码（ω）和外观码（ψ）与每个图像关联。在观测帧中对摄像机光线进行追踪，并使用变形场将样本沿光线转换到规范帧，变形场由变形码ω编码为MLP。
另外使用转换后的样本位置(x0，y0，z0)、观察方向(θ，φ)和外观码ψ作为MLP的输入，来查询模板NeRF模块，并沿着光线对样本进行积分。
更多玩法
可变性NeRF不仅可以用于自拍，还有更多好玩的用途。
比如创建“希区柯克变焦”的效果，过去需要专门的摄影技巧，或者是通过由远及近的拍摄视频再后期处理。现在只要几张照片就可以了。
如果不需要场景角度变化，而是需要人物姿势变化呢？
可变性NeRF能在头向左和向右之间线性插入任意姿势的照片。
最后还有一个用途是生成防抖视频。既然可变性NeRF可以生成任意角度的图像，那么现在可以让手负责抖，而让它负责稳了。
目前作者还没有公布源代码，不过他们的项目主页上已经放上了GitHub的按钮，看来他们已经准备开源了。你是不是迫不及待想试一下呢？
项目地址：
https://nerfies.github.io/
论文地址：
https://arxiv.org/abs/2011.12948
暂无评论，快去成为第一个评论的人吧
更多资讯推荐
- 人工智能违抗主人的命令，甚至发声嘲笑！意识觉醒了？
-
人工智能作为当下研究的热点项目，各国都为其投入了无限的精力以及心血，渴望能够超越其他国家掌握先机，进而提高自己在国际社会中的地位。而人工智能就目前来看，也已经获得了不小的成果，扫地机器人、机械臂、智能音箱等一切都逐渐日常化。
互联狗 · 21h前
- 俄媒：人工智能可利用面部识别判断信仰倾向
-
《俄罗斯报》1月19日发表了题为《藏不住了？》的文章称，美国斯坦福大学学者迈克尔·科辛斯基教授研发出了一种可根据人脸表情判断其信仰倾向的人工智能技术。
参考消息 · 21h前
- 到2030年，人工智能会发展成什么样？
-
人工智能、机器学习、深度学习这些热词近来被频繁使用。让承认人工智能将融于世界的现实期望固然很赞，但了解和揭秘人工智能同样意义重大。这篇文章将阐述人工智能的所有概念，全面理解人工智能，避免混淆这些概念。
佚名 · 1天前
- 人工智能辅助诊疗发展现状与战略研究
-
本文选取健康医疗信息人机交互、数据智能中的语义理解与医学影像分析作为切入点，简要阐述了人工智能在辅助诊疗问题上的发展方向与现状，讨论了智能诊疗技术发展与应用的问题与挑战，为相关部门提供决策支持。
佚名 · 1天前
- 大国竞争的焦点：人工智能与数字主权
-
2021年1月13日，美国智库大西洋理事会发布题为《大国竞争: 人工智能、中国和全球对数字主权的追求》的报告，本报告总结了2020年度人工智能对话和会议的关键要点，确定了世界不同地区在应对新兴技术时面临的挑战和机遇，并评估了中国在其中的作用。
佚名 · 1天前
- 闲聊几句就掏心掏肺？这届人工智能，把你的隐私当成了谈资
-
随着时代的进步，高科技产品在我们的生活中无处不在，但是，你是否质疑过，自己的隐私正在被这些高科技“生物”所窃取？事实上，我们的隐私正在处于泄露中。
木子Yanni · 1天前
- 人工智能不智能？一开始方向就错了
-
上个世纪50年代，约翰·麦卡锡提出了人工智能的概念，从此“AI”这个名字就诞生了。随着技术的发展，AI被划分为弱人工智能（简称“弱AI”）和强人工智能（简称强AI）两类，这个概念是由一位美国哲学家提出的，两者的区别就在于是否具备自主意识和思维，这就是AI发展的瓶颈。
刘梦还 · 1天前
- 多模态生物识别有什么优势
-
什么是多模态生物识别呢？多模态生物识别就是多种生物识别技术相互融合，满足不同场景和安全级别需要。
智能制造网 · 1天前