人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除

作者: 趣说人工智能 2018-07-03 08:50:12

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除摘要:目前大多数面部去马赛克方法,无论是浅层学习还是深度学习,都试图在列车的帮助下学习低分辨率(LR)和高分辨率(HR)空间之间的关系模型 - 集合。他们主要关注通过基于模型的优化或区分推理学习来建模图像优先。但是,当输入的LR面很小时,学到的先验知识不再有效,其性能会急剧下降。为了解决这个问题,本文提出了一种通用的面部幻觉方法,可以将基于模型的优化和区分性推理相结合。特别地,为了利用基于模型的先验,借助于图像自适应拉普拉斯正则化将深度卷积神经网络(CNN)降噪器先前插入到超分辨率优化模型中。此外,我们进一步开发了一种高频细节补偿方法,将人脸图像分散到人脸部位,并以多层相邻嵌入方式执行面部幻觉。实验证明,所提出的方法可以为微小输入LR面获得有前途的超分辨率结果。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除简介:为了克服基于模型的优化方法和判别推理学习方法的缺点,同时利用它们各自的优点,最近,已经提出了一些方法来分别处理保真度项和正则化项,借助于可变分裂技术,例如作为ADMM优化或去噪正则化(RED)[Romano等人,2017]。基于模型的超分辨率方法试图迭代地重建HR图像,使得其降级的LR图像与输入的LR图像相匹配,而推理学习试图通过机器学习来训练降噪器,使用LR和HR图像对。因此,复杂的超分辨率重建问题被分解成一系列图像去噪任务,再加上容易处理的二次规范正则化最小二乘优化问题。

在许多真实的监控场景中,摄像机通常远离感兴趣的物体,系统的带宽和存储资源有限,这通常会导致非常小的人脸图像,即微小的脸部。虽然上述方法是通用的,可以用来处理各种图像劣化过程,但是当采样因子非常大时,这种方法的性能会变差,即输入LR人脸图像非常小。学习的降噪器先前不能充分利用人脸的结构,因此幻觉的HR面仍然缺乏详细的特征,如图1的第二列所示。通常,深度卷积神经网络(CNN)降噪器先验基于面部幻觉的方法可以很好地生成主要面部结构,但无法回复很多高频内容。为了处理非常小的输入图像的瓶颈,已经提出了一些基于深度神经网络的方法[Yu和Porikli,2016; Yu和Porikli,2017]。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除贡献:在本文中,我们通过Deep CNN Denoiser和多层邻居组件嵌入(MNCE)开发了一种新颖的面部马赛克去除方法。受[Zhang et al。,2017]的工作启发,我们采用CNN来学习先前的降噪器,然后将其插入基于模型的优化中,共同利用基于模型的优化和判别推理的优点。在这一步中,我们可以预测深度CNN降噪器的中间结果,看起来很平滑。为了增强细节特征,我们通过MNCE进一步提出了一种残差补偿方法。它将NCE扩展到多层框架,以逐步减轻LR和HR空间之间的不一致(特别是当因子非常大时),从而补偿在***步中未恢复的缺失细节。图2显示了该算法的流水线。

这项工作的贡献总结如下:

(i)我们提出了一种新颖的两步式去马赛克方法,它结合了基于模型的优化和区分性推理学习的优点。所提出的框架使得可以从不同来源(即一般和脸部图像)学习先验以同时调整面部马赛克。 (ii)为了恢复缺失的详细特征,提出了以多层方式嵌入相邻分量,并且可以逐步优化和改进幻觉结果。它提供了一种方案来缓解由于一对多映射导致的LR和HR空间之间的不一致性。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除实验:该算法的性能已经在大规模的名人脸属性(CelebA)数据集[Liu等人,2015a]上进行了评估,并且我们将该方法与现有技术进行了定性和定量比较数据集。我们采用广泛使用的峰值信噪比(PSNR),结构相似性(SSIM)[Wang et al。,2004]以及特征相似性(FSIM)[Zhang et al。,2011]作为我们的评估测量。

数据集:我们使用名人脸属性(CelebA)数据集[Liu et al。,2015b],因为它包含大量多样,大量和丰富注释的主题,其中包括10,177个身份和202,599张脸部图像。我们选择10%的数据,其中包括20K训练图像和260个测试图像。然后,将这些图像对齐并裁切为128×128像素作为HR图像。 LR图像通过Bicubic 8×下采样(Matlab函数的默认设置imresize)获得,因此输入LR面是16×16像素。

建议的两步法的有效性。为了证明所提出的两步法的有效性,我们给出了不同步骤的中间结果。如图4所示,通过执行基于深度CNN降噪器的全局面部重建(步骤1),它可以很好地保持主要面部轮廓。通过逐层分量嵌入(Step2),我们可以期望逐步增强重建结果的特征细节(请参考第三到第五列)。作为一个学习的普遍以前,以前的深CNN降噪器不能用于建模面部细节。但是,它可以用于缓解LR和HR图像空间之间的歧义不一致,这将有利于以下相邻组件嵌入式学习。在第二步中,当它们之间的歧管结构间隙很小时,预测LR和HR空间之间的关系要容易得多。图5定量显示了多层嵌入的有效性。它表明,通过迭代嵌入,我们可以期望逐渐接近实际情况。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除

为了证明基于深度CNN除雪人的全局人脸重建模型的有效性,我们进一步展示了用双三次插值代替基于深度CNN除雪人的全局人脸重建的幻觉结果,同时保持第二步(即MNCE)为一样。如图6所示,深CNN降噪器可以产生更清晰和更整齐的面部轮廓。此外,我们还注意到具有MNEC的Bicubic也可以推断出合理的结果,这证明了MNCE在学习LR面和残差图像之间的关系时的能力。

定性和定量比较:我们将我们的方法与几种代表性方法进行比较,包括LLE [Chang et al。,2004]和LcR [Jiang et al。,2014b],两种基于深度学习的代表性方法,SR-CNN [Dong et al。,2016], VDSR [Kim et al。,2016]和两个最近提出的面部特定图像超分辨率方法,即LCGE [Song et al。,2017]和UR-DGN [Yu and Porikli,2016]。也作为基线引入双三次插值。

人工智能马赛克去除深度CNN降噪器和多层相邻分量嵌入马赛克去除结论和未来工作:在本文中,我们提出了一种新的两步式面部微小图像的面部幻觉框架。它共同考虑了基于模型的优化和判别推理,并提出了一种基于深度CNN降噪器的全局人脸重构方法。然后,通过多层邻居组件嵌入,全球中间人力资源面孔逐渐嵌入人力资源管理空间方式。对大规模人脸数据集和真实世界图像的实证研究证明了所提出的人脸幻觉框架的有效性和鲁棒性。输入面被手动对齐或通过其他算法对齐。在未来的工作中,我们需要考虑人脸对齐和解析来幻化具有未知和任意姿势的LR人脸图像。

人工智能 深度学习 CNN
上一篇:金山WPS Office 2019正式发布:一个软件操作Word、Excel、PPT 下一篇:一文概述深度学习中的正则化(含Python代码)
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

德媒:欧盟拟立法限制滥用人工智能

据德国《法兰克福汇报》网站4月13日报道,人工智能的胜利前进已不可阻挡。新冠疫情尤其让人们关注到这种拥有自我学习能力的系统对医疗体系组织工作的价值。

参考消息 ·  10h前
国内首个!北京拟推进自动驾驶商业化,年内将实现真无人驾驶

乘自动驾驶出租车要付费,无人配送车街上跑,路测拿掉安全员,无人驾驶车上高速……这些即将在北京实现。

南方都市报 ·  11h前
前沿洞察丨无人机送货不迷路的原因竟在这里!

本期前沿洞察为大家带来这些技术:用微观交叉定位,让无人机送货不再找路难;能暴露行动轨迹的智能袜子;基于两束交叉光触发的化学反应实现微米级高精度3D打印......一起来看看吧!

望潮科技 ·  11h前
2021年AI智能摄像机带来的新市场

大流行除了给全球经济带来巨大影响之外,也加速了越来越多的先进技术走向成熟应用,如人工智能(AI)和机器学习(ML),技术时代的到来往往伴随着人类的迫切需求。

蒙光伟 ·  21h前
OpenAI CEO Sam Altman:AI革命即将到来,我们需要新的系统

我们正处于这场技术变革的开端,我们拥有创造未来的宝贵机会。而这不是简单地解决目前的社会和政治问题,它必须为完全不同的社会而设计。

Sam Altman ·  22h前
谈谈基于深度学习的目标检测网络为什么会误检,以及如何优化目标检测的误检问题

在训练人脸检测网络时,一般都会做数据增强,为图像模拟不同姿态、不同光照等复杂情况,这就有可能产生过亮的人脸图像,“过亮”的人脸看起来就像发光的灯泡一样。

刘冲 ·  22h前
值得思考:197亿美金,微软2021年的AI转型之路

4月12日,微软宣布将以每股56美元的价格收购语音识别巨头Nuance,出价达到了197亿美元。

东方林语 ·  1天前
人工智能优先战略将从哪里开始?

人工智能可以为企业带来竞争优势,并释放难以获得的巨大商机。因此,人们需要了解制定有效的人工智能优先策略的6个步骤。

李睿 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载