英伟达年底放大招!发布超强图像生成器StyleGAN2

作者: 猿妹 2019-12-20 10:20:02

 今年年初,英伟达(NVIDIA)的研究工程师们公开了StyleGAN的源代码,并将其作为生成对抗网络的基于Style的生成器架构。

比如可以生成无数逼真的人脸:

英伟达年底放大招!发布最强图像生成器StyleGAN2

还能让你看到从萝莉到御姐的变换过程是怎样的:

虽说功能强大,但毕竟是初代版本,难免有些瑕疵,现如今,升级版StyleGAN2诞生了,英伟达近日公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,下面一起来看看都有哪些升级:

1、消除特征伪影

英伟达年底放大招!发布最强图像生成器StyleGAN2

就如上图所示,StyleGAN图像中会出现类似水滴的伪影,这些在生成的时候虽然说没有很明显,但是问题总归是存在的,而且从生成64×64的图像开始就有了,分辨率越高,水滴现象就越严重。在StyleGAN2里面这个问题已经不存在了。

英伟达的研究人员重新设计了StyleGAN架构,研究了常见的斑点状artifacts的起源,并发现生成器创建它们是为了规避其架构中的设计缺陷。英伟达重新设计了生成器中使用的normalization,从而删除了artifacts。

英伟达年底放大招!发布最强图像生成器StyleGAN2

如上图所示,(a)是原始StyleGAN架构,(b)展示了原始StyleGAN架构的细节,(c)是在原始架构里做了些许改动,(d)是修改后的架构。

改进完之后的效果如下:

已经没有了前面所说的伪影,同时保留了完全的可控性。

2、生成细节改进

再来看看StyleGAN中采用的是Progressive Growing的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

英伟达年底放大招!发布最强图像生成器StyleGAN2

StyleGAN 2研究人员对其进行了优化,如上图所示,up和down分别表示双线性上、下采样。当牙齿或者眼睛等特征在图像上平滑移动时,它们可能会停留在原位,然后跳到下一个首选位置,下图显示了相关的伪像,生成人脸的五官特征可以同时变化。

英伟达年底放大招!发布最强图像生成器StyleGAN2

总的来说,StyleGAN 2的改进如下:

生成的图像质量明显更好(FID分数更高、artifacts减少)

提出替代progressive growing的新方法,牙齿、眼睛等细节更完美

改善了Style-mixing

更平滑的插值(额外的正则化)

训练速度更快

是不是觉得很强大呢?想不想自己体验一番,最后附上相关地址:

论文地址:https://arxiv.org/pdf/1912.04958.pdf

Github地址:https://github.com/NVlabs/stylegan2

图像识别 AI 机器视觉
上一篇:2019年Reddit机器学习板块17个热门项目:最新代码、资源应有尽有 下一篇:读懂 2020,AI 安防「术」与「势」丨年终盘点
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能能否使机器具有流体智力?

麻省理工学院和奥地利研究人员为灵活的人工智能创造了“液体”机器学习。

千家网 ·  2021-06-01 10:38:55
美城市Baltimore可能颁布最严格的面部识别禁令

据介绍,拟议的法令将禁止私人或商业组织,甚至执法机构在城市使用面部识别技术。

千家网 ·  2021-06-01 09:34:07
当“追风筝的人”遇上了无人机……

随着我国用电需求的不断增长,电网建设的持续扩大,“追风筝的人”愈发力不从心。在逐渐增大的电力运维压力面前,电力工人由于作业效率、范围、成本、安全性和作业环境等方面的限制,愈发难以满足行业发展需求。在此背景下,无人机带来了福音。

智能制造网 ·  2021-05-31 20:48:45
大流行是否改变了人工智能的地位,从“想要”到“必须”?

在一个受新冠肺炎及其后果影响的世界里,采用人工智能正在成为一种主流现实。越来越多的行业正在以前所未有的速度试验和适应人工智能,无论是健康、教育、零售还是制造业。

Cassie ·  2021-05-31 18:17:50
日本将向月球发送变形机器人球:整颗球重250g

5月31日消息,据外媒报道称,日本将发送一颗长相特别的球型机器人到月球去。据悉,这个球型机器人由日本宇宙航空研究开发机构 (JAXA) 与索尼、同志社大学和玩具制造商 Tomy 合作开发,未来,其在抵达月球表面后,会“展开”成药丸型完整装置,捕捉月球表面的图像并且以研究月球土壤为主要目标。

环球网 ·  2021-05-31 15:15:09
值得关注 人工智能这5大趋势将给世界带来影响

人工智能不再是未来的技术。将我们日常工作自动化的机器变得越来越聪明,人工智能对我们生活的影响超出了我们的想象。在过去的十年中,我们见证了对人工智能相关技术的需求显著增长。

Yu ·  2021-05-31 15:14:35
AI时代,需要发挥知识图谱+知识管理的双轮价值

AI时代,需要发挥知识图谱+知识管理的双轮价值,才能真正实现从流程驱动、数据驱动走向知识驱动。

东方林语 ·  2021-05-31 09:15:14
市场规模将突破22亿?教育机器人发展迅速

除了科普类教育机器人,近年来用于家庭教育、辅助教学的各型教育机器人层出不穷,越来越频繁地出现了人们的日常生活当中。由于教育机器人的发展势如破竹,受到了业内及资本力量广泛关注。

智能制造网 ·  2021-05-28 17:31:50
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载