英伟达年底放大招!发布超强图像生成器StyleGAN2

作者: 猿妹 2019-12-20 10:20:02

 今年年初,英伟达(NVIDIA)的研究工程师们公开了StyleGAN的源代码,并将其作为生成对抗网络的基于Style的生成器架构。

比如可以生成无数逼真的人脸:

英伟达年底放大招!发布最强图像生成器StyleGAN2

还能让你看到从萝莉到御姐的变换过程是怎样的:

虽说功能强大,但毕竟是初代版本,难免有些瑕疵,现如今,升级版StyleGAN2诞生了,英伟达近日公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,下面一起来看看都有哪些升级:

1、消除特征伪影

英伟达年底放大招!发布最强图像生成器StyleGAN2

就如上图所示,StyleGAN图像中会出现类似水滴的伪影,这些在生成的时候虽然说没有很明显,但是问题总归是存在的,而且从生成64×64的图像开始就有了,分辨率越高,水滴现象就越严重。在StyleGAN2里面这个问题已经不存在了。

英伟达的研究人员重新设计了StyleGAN架构,研究了常见的斑点状artifacts的起源,并发现生成器创建它们是为了规避其架构中的设计缺陷。英伟达重新设计了生成器中使用的normalization,从而删除了artifacts。

英伟达年底放大招!发布最强图像生成器StyleGAN2

如上图所示,(a)是原始StyleGAN架构,(b)展示了原始StyleGAN架构的细节,(c)是在原始架构里做了些许改动,(d)是修改后的架构。

改进完之后的效果如下:

已经没有了前面所说的伪影,同时保留了完全的可控性。

2、生成细节改进

再来看看StyleGAN中采用的是Progressive Growing的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

英伟达年底放大招!发布最强图像生成器StyleGAN2

StyleGAN 2研究人员对其进行了优化,如上图所示,up和down分别表示双线性上、下采样。当牙齿或者眼睛等特征在图像上平滑移动时,它们可能会停留在原位,然后跳到下一个首选位置,下图显示了相关的伪像,生成人脸的五官特征可以同时变化。

英伟达年底放大招!发布最强图像生成器StyleGAN2

总的来说,StyleGAN 2的改进如下:

生成的图像质量明显更好(FID分数更高、artifacts减少)

提出替代progressive growing的新方法,牙齿、眼睛等细节更完美

改善了Style-mixing

更平滑的插值(额外的正则化)

训练速度更快

是不是觉得很强大呢?想不想自己体验一番,最后附上相关地址:

论文地址:https://arxiv.org/pdf/1912.04958.pdf

Github地址:https://github.com/NVlabs/stylegan2

图像识别 AI 机器视觉
上一篇:2019年Reddit机器学习板块17个热门项目:最新代码、资源应有尽有 下一篇:读懂 2020,AI 安防「术」与「势」丨年终盘点
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

如何避免又一个AI寒冬?

尽管过去几年中,人工智能取得了长足的进步,但相信很多人都还记得20世纪90年代,由于开发者过分夸大承诺以及最终用户不切合实际的期望所导致的AI寒冬。

佚名 ·  1天前
人工智能技术快速识别人流中个体感染者风险,同济研发疫情防控识别系统

在摆放于校门口的摄像头前站定,系统马上通过人脸识别技术,结合现场体温检测,对同济大学教职员工、学生的基本情况进行自动分析查询。如果体温正常、满足外地返沪大于14天隔离和上海的相关要求,校门将予以放行;如有发热现象或不满足相关要求,系统将自动报警,不予放行,对相关人员实现......

彭德倩 ·  1天前
加速算力的迭代优化 AI芯片需破解落地难题

AI芯片怎样支撑多姿多彩的人工智能应用落地?评测标准进展如何?今年的亮点、看点又在哪?科技日报记者采访了相关专家。

唐 芳 ·  2天前
人工智能如何赋能经济高质量发展

继第一、第二、第三次工业革命之后,人工智能可能引发人类的第四次工业革命,并且其对人类经济社会文化的影响深度远远超过前三次革命。如何看待人工智能对我经济社会发展的影响?如何形成人工智能产业新生态?记者专访了中国科学技术发展战略研究院研究员李修全。

佚名 ·  2天前
人工智能如何推动神经科技发展?

神经科技以人类神经系统原理为基础,旨在研究人类大脑这一极为复杂的模型架构。在实际作用方面,神经科技将帮助研究人员了解大脑功能与引发功能障碍的原因,并助力医生治疗各类神经系统疾病。至于具体应用,神经科技目前主要关注增强认知能力、改善睡眠并改善长寿人群的大脑健康等。

佚名 ·  2020-02-13 23:30:22
大规模存储基础设施对人工智能的要求

大规模的人工智能(AI)在容量和性能方面提高了存储基础设施的门槛。对于人工智能或机器学习(ML)环境,期望增长到数十个甚至数百TB的容量并不少见。

Harris ·  2020-02-13 13:32:29
人脸识别背后:可怕的不是技术,而是……

当下AI程序到底会用人类面孔做什么?有多少的恐惧是来源于传言,而非摆在面前的事实?技术的力量是否让人类的担忧不断增多?我们来一起想想这个问题。

读芯术 ·  2020-02-12 22:20:39
人工智能助力疫情防控:能精准筛查、推演疫情、溯源病毒

在疫情防控过程中,及时发现高风险人群与超级传染者,准确掌握疫情发展动态是关键。同时,如果能就不同政策对疫情的影响进行预演判断,以及更快速地追溯到病毒的传播路径,将极大提高政府部门的防控效率。

澎湃新闻 ·  2020-02-12 07:21:03
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载