2D 图像变 3D,微软新 AI 框架或成游戏业福音

作者: Adios 2020-03-06 10:34:40

 

雷锋网注:上图为微软模型生成的 3D 沙发,椅子和浴缸图像

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

已经有不少机构在将 2D 图像转换为 3D 形式的方面进行了尝试,包括 Facebook、Nvidia 等公司的 AI 研究实验室,或是类似 Threedy.AI 这样的初创公司。近日,来自微软的研究团队也发表了一篇预印论文,展示了其在非结构化 2D 图像的基础上生成 3D 形状图像的能力。

通常来说,训练这样的框架需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架,该框架采用的“可缩放”训练技术是第一次被用于这一领域。研究人员提到,在使用 2D 图像进行训练时,该框架始终可以比现有的模型生成效果更好的 3D 形状,这对于视频游戏开发人员、电子商务公司,以及缺乏创建 3D 模型经验的动画公司来说,称得上是“福音”。     

具体来说,研究人员试图利用功能齐全的工业渲染器,该渲染器可以根据显示数据来生成图像。为此,研究人员训练了 3D 形状的生成模型,以便渲染形状并生成与 2D 数据集分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成 3D 对象的连续体素表示(3D 空间中网格上的值),然后将体素输入到不可微分的渲染过程中,并在使用现有渲染器进行渲染之前将其阈值降低为离散值。

也就是说,这是一种新颖的代理神经渲染器直接渲染由 3D 形状生成模型生成的连续体素网格的方式。正如研究人员所解释的那样,在给定 3D 网格输入的情况下,需要对其进行训练以匹配现成渲染器的渲染输出。       

生成式对抗网络(GANS)在产生 2D 图像数据方面的成果令人印象深刻,许多视觉应用,比如游戏,都需要 3D 模型作为输入,而不仅仅是图像。但是,直接将现有的 GAN 模型扩展到 3D,需要获取 3D 训练数据。       

雷锋网注:上图为微软模型生成的 3D 蘑菇图像

在实验过程中,研究团队为上述生成器采用了 3D 卷积 GAN 架构(GAN 是一个由两部分组成的 AI 模型,其中包括生成器,这些生成器使用分布式采样从随机噪声中生成合成示例,并将这些示例与训练数据集中的真实示例一起馈入鉴别器中,以尝试区分两者)。基于 3D 模型生成的数据集和真实的数据集可以合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。

研究人员还表示,他们的框架还会从图像中提取照明和阴影信息,使其能够从每个训练样本中提取更多有意义的数据,并在此基础上产生更好的结果。在对自然图像的数据集进行训练之后,该框架可以生成逼真的样本。此外,该框架还可以利用表面之间的曝光差异来成功检测出凹形物体的内部结构,从而使准确地捕获凹形程度和中空空间。       

将颜色,材料和照明等信息合并到系统中,未来,这些信息就可以与更多“常规”实际数据集一起使用。

AI 数据 人工智能
上一篇:凭借Google新算法,机器人自学行走平均只需3.5小时 下一篇:Bengio参与、LeCun点赞:图神经网络权威基准现已开源
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI批改英语作文行不行?雅思考研四六级,打分评语纠错都得有

如果AI真的能准确评分,甚至给出修改意见,那像我一样的同学们不就能随时随地把英语作文练到飞起了吗?

茕茕 ·  1天前
关于人工智能的十二条名人名言

我们将援引世界上众多最伟大思想家的名言,了解他们如何看待人工智能这一意义深远的主题。希望这些名言有助于阐明AI主旨、涵盖范围、潜在挑战以及蕴藏于其中的巨大能量。

佚名 ·  1天前
自我监督学习:AI技术的未来发展方向

尽管深度学习已经在人工智能领域做出重大贡献,但这项技术本身仍存在一项致命缺陷:需要大量数据的加持。

佚名 ·  1天前
李飞飞团队研发家用AI系统 可监测独居老人新冠症状

日前,在斯坦福大学以人为本人工智能学院(HAI)的一场直播上,斯坦福大学计算机学教授李飞飞向外界介绍了人工智能家用系统,它可以跟踪居民的健康状况,包括新冠肺炎的症状,同时还能确保隐私。

王心馨 ·  2天前
AI技术在医药行业中的作用越来越大

AI可以帮助科学家和生物技术专家简化药物发现和开发的过程,协助诊断,并使通常会浪费时间和人力资源的重复性工作任务自动化……

佚名 ·  2天前
2025年智慧城市AI软件市场将增长700%

分析师机构Omdia的最新分析显示,全球智能城市人工智能(AI)软件市场将从2019年的6.738亿美元增长到2025年的49亿美元,这意味着七倍的增长。

佚名 ·  2天前
实现人工智能价值的5个障碍以及克服它们的方法

正如媒体所报道的,在实施人工智能的过程中确实存在着技术障碍,因而BCG和Gartner的专家们讨论了在企业中部署人工智能的五个陷阱,以及成功的解决方案。

Clint Boulton ·  2天前
谷歌前董事长:人工智能无法自己开创市场

人工智能对于商务运作方式正在产生越来越大的影响,而且人工智能也正在开辟各种想象不到的商机。未来不是由机器支配,未来由拥有无限想象力的人支配。

佚名 ·  2天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载