2D 图像变 3D,微软新 AI 框架或成游戏业福音

作者: Adios 2020-03-06 10:34:40

 

雷锋网注:上图为微软模型生成的 3D 沙发,椅子和浴缸图像

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

已经有不少机构在将 2D 图像转换为 3D 形式的方面进行了尝试,包括 Facebook、Nvidia 等公司的 AI 研究实验室,或是类似 Threedy.AI 这样的初创公司。近日,来自微软的研究团队也发表了一篇预印论文,展示了其在非结构化 2D 图像的基础上生成 3D 形状图像的能力。

通常来说,训练这样的框架需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。

微软的研究人员这一次做了新的突破——他们在论文中详细介绍了一个框架,该框架采用的“可缩放”训练技术是第一次被用于这一领域。研究人员提到,在使用 2D 图像进行训练时,该框架始终可以比现有的模型生成效果更好的 3D 形状,这对于视频游戏开发人员、电子商务公司,以及缺乏创建 3D 模型经验的动画公司来说,称得上是“福音”。     

具体来说,研究人员试图利用功能齐全的工业渲染器,该渲染器可以根据显示数据来生成图像。为此,研究人员训练了 3D 形状的生成模型,以便渲染形状并生成与 2D 数据集分布相匹配的图像。生成器模型采用随机输入向量(代表数据集特征的值)并生成 3D 对象的连续体素表示(3D 空间中网格上的值),然后将体素输入到不可微分的渲染过程中,并在使用现有渲染器进行渲染之前将其阈值降低为离散值。

也就是说,这是一种新颖的代理神经渲染器直接渲染由 3D 形状生成模型生成的连续体素网格的方式。正如研究人员所解释的那样,在给定 3D 网格输入的情况下,需要对其进行训练以匹配现成渲染器的渲染输出。       

生成式对抗网络(GANS)在产生 2D 图像数据方面的成果令人印象深刻,许多视觉应用,比如游戏,都需要 3D 模型作为输入,而不仅仅是图像。但是,直接将现有的 GAN 模型扩展到 3D,需要获取 3D 训练数据。       

雷锋网注:上图为微软模型生成的 3D 蘑菇图像

在实验过程中,研究团队为上述生成器采用了 3D 卷积 GAN 架构(GAN 是一个由两部分组成的 AI 模型,其中包括生成器,这些生成器使用分布式采样从随机噪声中生成合成示例,并将这些示例与训练数据集中的真实示例一起馈入鉴别器中,以尝试区分两者)。基于 3D 模型生成的数据集和真实的数据集可以合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。

研究人员还表示,他们的框架还会从图像中提取照明和阴影信息,使其能够从每个训练样本中提取更多有意义的数据,并在此基础上产生更好的结果。在对自然图像的数据集进行训练之后,该框架可以生成逼真的样本。此外,该框架还可以利用表面之间的曝光差异来成功检测出凹形物体的内部结构,从而使准确地捕获凹形程度和中空空间。       

将颜色,材料和照明等信息合并到系统中,未来,这些信息就可以与更多“常规”实际数据集一起使用。

AI 数据 人工智能
上一篇:凭借Google新算法,机器人自学行走平均只需3.5小时 下一篇:Bengio参与、LeCun点赞:图神经网络权威基准现已开源
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

中国AI专利申请量占全球74%,腾讯、百度、OPPO前五

报告显示,过去十年,全球人工智能专利申请集中在中国、美国、日本、韩国。其中,中国和美国处于领先地位。中国专利申请量为389571,位居世界第一,占全球总量的74.7%,是排名第二的美国的8.2 倍。

南方都市报 ·  1天前
AI一键去纹身,几秒钟让你看见明星「真面目」

来自印度的机器学习研究者 Vijish Madhavan 最近开源的一个机器学习工具 SkinDeep 满足了我们的需求。

机器之心 ·  1天前
人工智能进军“古玩鉴定”,人类职业再遭冲击?

近两年,人工智能的风头虽然偶被5G、自动驾驶等所盖过,但其发展和热度并未因此受到影响。

林中易木 ·  1天前
人脸识别技术的优缺点

无论在哪里使用,面部识别都可能会吸引很多人的注意。这就是为什么我们整理了一份关于面部识别的利弊清单,这样你就可以了解这个有争议的话题。

Cassie ·  1天前
人工智能如何为临床试验提供无摩擦的患者匹配

这场疫情凸显了医疗保健行业一些效率低下的方面,为了应对这些危机,一些医疗机构已经采用与大数据相关的技术,例如人工智能技术、自然语言处理、数据管理等。

Kirk Junker ·  1天前
让静态知识动起来:从知识图谱到事理图谱

传统的知识图谱回答的是“是什么”的问题,而以“事”为核心的事理图谱回答的是“为什么”的问题。目前,绝大多数知识图谱主要以实体(特别是人名)为基础,面向事件知识图谱研究的语料构建和研究方法还处于探索阶段。

AI科技评论 ·  1天前
知识图谱是否是自然语言处理的未来?

2021年了,不少当年如日中天技术到今天早已无人问津,而知识图谱这个AI界的大IP最火的时候应该是18,19年,彼时上到头部大厂下到明星创业公司都在PR自己图谱+NLP布局能够赋予AI认知能力。到了当下这个AI总体降温的时间节点,我们是时候冷静思考知识图谱的未来到底该何去何从了。

Luke ·  1天前
人工智能在未来将要经历的七个阶段

自2000年以来,全球对人工智能的投资增长了6倍。据统计,到2025年,全球AI市场预计将增长到600亿美元。

SENSORO升哲 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载