英伟达年底放大招!发布超强图像生成器StyleGAN2

作者: 猿妹 2019-12-20 10:20:02

 今年年初,英伟达(NVIDIA)的研究工程师们公开了StyleGAN的源代码,并将其作为生成对抗网络的基于Style的生成器架构。

比如可以生成无数逼真的人脸:

英伟达年底放大招!发布最强图像生成器StyleGAN2

还能让你看到从萝莉到御姐的变换过程是怎样的:

虽说功能强大,但毕竟是初代版本,难免有些瑕疵,现如今,升级版StyleGAN2诞生了,英伟达近日公开最新论文《Analyzing and Improving the Image Quality of StyleGAN》,通过对 StyleGAN 的生成效果分析,对不完美的工作设计了改进和优化方法,下面一起来看看都有哪些升级:

1、消除特征伪影

英伟达年底放大招!发布最强图像生成器StyleGAN2

就如上图所示,StyleGAN图像中会出现类似水滴的伪影,这些在生成的时候虽然说没有很明显,但是问题总归是存在的,而且从生成64×64的图像开始就有了,分辨率越高,水滴现象就越严重。在StyleGAN2里面这个问题已经不存在了。

英伟达的研究人员重新设计了StyleGAN架构,研究了常见的斑点状artifacts的起源,并发现生成器创建它们是为了规避其架构中的设计缺陷。英伟达重新设计了生成器中使用的normalization,从而删除了artifacts。

英伟达年底放大招!发布最强图像生成器StyleGAN2

如上图所示,(a)是原始StyleGAN架构,(b)展示了原始StyleGAN架构的细节,(c)是在原始架构里做了些许改动,(d)是修改后的架构。

改进完之后的效果如下:

已经没有了前面所说的伪影,同时保留了完全的可控性。

2、生成细节改进

再来看看StyleGAN中采用的是Progressive Growing的训练方法,细节对位置有强偏好,特征发生移动时,位置不能随之发生相应的变化移动。

英伟达年底放大招!发布最强图像生成器StyleGAN2

StyleGAN 2研究人员对其进行了优化,如上图所示,up和down分别表示双线性上、下采样。当牙齿或者眼睛等特征在图像上平滑移动时,它们可能会停留在原位,然后跳到下一个首选位置,下图显示了相关的伪像,生成人脸的五官特征可以同时变化。

英伟达年底放大招!发布最强图像生成器StyleGAN2

总的来说,StyleGAN 2的改进如下:

生成的图像质量明显更好(FID分数更高、artifacts减少)

提出替代progressive growing的新方法,牙齿、眼睛等细节更完美

改善了Style-mixing

更平滑的插值(额外的正则化)

训练速度更快

是不是觉得很强大呢?想不想自己体验一番,最后附上相关地址:

论文地址:https://arxiv.org/pdf/1912.04958.pdf

Github地址:https://github.com/NVlabs/stylegan2

图像识别 AI 机器视觉
上一篇:2019年Reddit机器学习板块17个热门项目:最新代码、资源应有尽有 下一篇:读懂 2020,AI 安防「术」与「势」丨年终盘点
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

微软用 AI 取代人工编辑,解雇多名新闻工作者

微软将解雇 Microsoft News 和 MSN 团队中的数十名新闻工作者和编辑人员。大部分受影响的员工属于 Microsoft SANE(搜索、广告、新闻、Edge 浏览器)部门。

佚名 ·  1天前
人工智能的三大领域及其工业应用

在本文中,我将解释人工智能技术的三个主要方向,即语音识别,计算机视觉和自然语言处理。

工业应用 ·  1天前
人工智能项目:需要注意的七件事

维度R的一份报告显示,十分之八的AI失败了,而96%的AI则在标注,标明和建立模型置信度方面遇到了问题。以下是人工智能项目失败的7个常见原因。

闻数起舞 ·  2天前
达摩院AI进入中国科技馆,首张AI识别新冠CT成科技抗疫历史见证

5月29日消息,全国科技工作者日来临之际,一个特别的藏品入选中国科技馆“2020数字馆藏”——阿里巴巴达摩院AI识别标注的第一张新冠肺炎CT影像。达摩院AI作为科技抗疫的历史见证,被写入中国科技发展史。

佚名 ·  4天前
华为机器视觉连发16项新品,开辟千亿安防新战场

2020年伊始,华为安防将品牌名改为更具科技感的“华为机器视觉”,同时大举发力安防分销市场。而后,华为Holosens Store算法网购商城也正式上线,这标志着摄像机已经开始经历手机变革为“智能手机”的时刻。

佚名 ·  2020-05-28 17:44:04
终于!华为将下一代摄像机做的不像摄像机

日前,安防行业发生了两件大事。对于安防龙头来说,这是个黑色星期一,因大股东计划减持2%的公司股份,以当天的收盘价计算,拟减持金额约56亿,导致安防龙头股价收跌6.61%,一天之内,185亿市值蒸发殆尽。而同时,同城的华为安防举行了HoloSens下一代摄像机暨2020新品发布会,强势推出六大新品加十大解决方案,千万人次围观,燃爆整个行业。

佚名 ·  2020-05-28 17:25:08
扑面而来的机器视觉风潮

在5月25日杭州举办的华为HoloSens下一代摄像机暨2020年新品发布会上,段爱国和他的团队带来了六大新品,包括全新的下一代“四无”生态型摄像机以及超高密智能视频存储平台、AI超微光卡口摄像机、双光谱热成像摄像机、AI双模球型摄像机和5G摄像机等,以及精准覆盖重点场景的十大场景化解决方案。

佚名 ·  2020-05-28 17:21:47
面对疫情下的人类行为,AI迷惑!数据变化引起的工作“异常”需人为调控

从疫情中,也可以看出,我们的生活与AI交织得多么紧密,但也暴露出了一种微妙的依赖关系,我们的行为改变会改变AI的工作方式,而AI的工作方式的改变,反过来会再次影响到我们的行为。

大数据文摘 ·  2020-05-28 08:34:38
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载