秒杀Deepfake!微软北大提出AI换脸工具和假脸检测工具

作者: 佚名 2020-01-07 14:14:57

 人脸识别的“利矛与坚盾”同时出炉!微软亚洲研究院和北京大学最近联合发表 2 篇重量级学术论文,提出了 FaceShifter 和 FaceX-Ray——前者是一种高保真、能够感知遮挡的 AI“换脸工具”,后者则是针对伪造人脸图像的通用检测工具,在取得业界领先的性能的同时,所需数据量也少得多。

最先进的 AI 和机器学习算法不仅可以生成栩栩如生的位置和物体的图像,还擅长将人脸头像从一个人换成另一个人的。另一方面,研究人员也在不断开发能够检测 deepfake 假图像的识别工具。这场在机器学习图像识别领域的“矛与盾”之争愈演愈烈。

最近,微软研究院和北京大学的研究团队就同时造出了一对“利矛”和“坚盾”,他们发表的两篇论文分别提出了 FaceShifter 和 Face X-Ray——前者是一种高保真度、可识别遮挡的换脸工具,后者则是能够检测伪造人脸图像的工具。

研究人员表示,与多个现行基线方法相比,这两种方法都能在不牺牲性能的情况下取得业界领先的结果,而且所需的数据比以前的方法少得多。

一、利矛:高保真度换脸工具 FaceShifter

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

这个新工具采用两层框架结构。过去换脸应用的主要困难在于提取面部特征,然后将两张图的特征和属性组合在一张图中,最近基于 GAN 的工作取得了明显进步,但仍然在合成高精度、真实图像结果上面临挑战。

研究人员提出了一个新的两部分架构,称为 FaceShifter,可以实现高精度和遮挡条件下的换脸。第一部分通过充分,自适应对目标属性进行挖掘和集成,生成高清换脸图片。使用新的属性编码器,提取多级目标的人脸属性,利用自适应注意力非正规化(AAD)层的新生成器整合人脸合成图片的特征和属性。

架构的第二部分主要解决面部遮挡问题,这部分包括一个新的启发式错误确认细化网络(HEAR-Net)。训练后,可以以自监督的方式恢复图像的异常区域,无需任何手动注释。在新面部图像上进行的大量实验表明,与其他方法相比,本文模型生成的换脸图片结果不仅在感观上更真实、更具吸引力,而且还保留了原图像更多的特征。

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

第一阶段的 AEI-Net 结构。AEI-Net 由身份编码器,多级属性编码器和 AAD 生成器组成。AAD 生成器使用在 AAD 层上构建的级联 AAD ResBlk,可在多个功能级别中集成图像特征和属性的信息

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray
第二阶段的 HEAR-Net 和生成效果

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

与 FaceSwap、Nirkin、FaceForensics ++、DeepFake、IPGAN 等模型生成效果的比较。我们的模型更好地保留了源图像的脸部形状,也更忠实于目标属性(照明,图像分辨率)

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray
与现有其他换脸模型的性能效果对比

二、坚盾:面部假图像检测工具 Face X-ray

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

典型的换脸合成方法包括三个阶段:1)检测面部区域;2)合成期望的目标面部 3)将目标面部融合到原始图像中。现有的对面部合成图像检测通常面向第二阶段,并基于数据集训练有监督的每帧二进制分类器。这种方法可以测试数据集上实现近乎完美的检测精度,如果遇见训练时没见过的假图像,性能会出现明显下降。

与现有方法不同的是,Face X-Ray 不需要事先知道操作方法或人工监督,而是生成灰度图像,显示给定的输入图像是否可以分解为来自不同来源的两个图像的混合。研究人员声称,这种方法是可行的,因为大多数方法在将已改变的面部混合到现有背景图像的过程中,有一个步骤是相同的。每个图像都会从硬件(如传感器和镜头)或软件(如压缩和合成算法)中引入的自己独特的标记,并且这些标记在整个图像中趋向于类似呈现。

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

Face X-Ray 不需要依赖于与特定人脸操作技术相关的伪影知识,并且支持它的算法可以在不使用任何方法生成假图像的情况下进行训练。

在一系列实验中,研究人员在 Face Forensics++(一个包含 1000 多个用四种最先进的面部操作方法操作的原始剪辑的大型视频语料库)和另一个包含由真实图像构建的混合图像的训练数据集上训练了 Face X-Ray。他们评估了 FaceX-Ray 使用四个数据集进行概括的能力:

上述 FaceForensics++ 语料库的一个子集;Google 发布的数千个视觉 deepfake 视频集合,deepfake 检测挑战赛的图像;以及 Celeb-DF,一个包含 408 个真实视频和 795 个合成视频且视觉伪影减少的语料库。

研究结果表明,Face X-Ray 能有效地识别出未被发现的假图像,并能可靠地预测混合区域。研究人员指出,这个方法依赖于一个混合步骤,因此可能不适用于完全合成图像,可能被对抗性样本骗过。不过,这确实是迈向通用化面部伪造图像检测工具的有希望的一步。

作者介绍

这两篇文章的作者来自微软亚洲研究院(MSRA)视觉计算团队,团队成员大部分毕业于中科大、北大等国内名校,也都有过在 MSRA 的实习经历,多人获得 Fellowship 奖。下面以网上公开信息为基础,介绍一下这两篇文章的作者。

李凌志

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

北京大学硕士研究生,北京交通大学工商管理学士。过去一年在 MSRA 视觉计算团队研究实习生。研究兴趣是计算机视觉、机器学习和深度学习。对生成模型和 Deepfake 检测领域特别感兴趣。

鲍建敏

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

MSRA 视觉计算团队研究员。此前于 2014 年和 2019 年获中国科学技术大学理学学士、博士学位,师从罗杰波教授和李厚强教授。研究兴趣是计算机视觉,机器学习。对人脸检测,识别,合成以及 GAN 领域特别感兴趣。

Zhang Ting

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

MSRA 视觉计算团队高级研究员。在 2017 年 7 月加入 MSRA 之前,分别于 2012 年和 2017 年获中国科学技术大学学士、博士学位。2013 年至 2017 年在 MSRA 实习,并于 2015 年获得了 MSRA Fellowship 奖。目前研究兴趣集中在计算机视觉的深度学习上。

杨昊

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

2017 年末加入 MSRA 视觉计算团队。此前在清华大学软件学院获学士、博士学位。研究兴趣包括但不限于对面孔,肖像和 3D 图像的理解和合成。

陈栋

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

2015 年 7 月加入 MSRA 视觉计算团队。此前分别于 2010 年和 2015 年获中国科学技术大学学士、博士学位。2010 年至 2015 年在 MSRA 实习,并于 2013 年获得 MSRA Fellowship 奖。

Wen Fang

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

MSRA 视觉计算团队首席研究员。

郭百宁

秒杀Deepfake!微软北大提出AI换脸工具FaceShifter和假脸检测工具Face X-Ray

微软亚洲研究院常务副院长,负责图形图像领域的研究工作。郭博士拥有美国康乃尔大学硕士和博士学位,北京大学学士学位。他还是电气电子工程师学会会士(IEEE Fellow)和美国计算机协会会士(ACM Fellow)。研究兴趣包括计算机图形学、计算机可视化、自然用户界面以及统计学习。在纹理映射建模、实时渲染以及几何模型等领域取得的研究成果尤为突出。

AI 数据 人工智能
上一篇:神操作!只需5行代码,就能做出一个图像识别AI 下一篇:一文看尽2019年NLP前沿突破
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

2020年全球工业机器人行业市场现状及竞争格局分析

目前,全球工业机器人市场处于长期稳健增长阶段,但2019年全球经济下行和贸易摩擦给机器人行业带来了一定影响。

中国工业电器网 ·  14h前
外媒:科学家设计出一款类鱼软体机器人 可入深海探索

3月4日消息,据外媒报道称,近日发表在《自然》杂志上的一项研究显示,中国的一个工程师团队揭示了一种以锂电池为动力的软体机器人,它可以在深海进行探索,而这放在以前只有坚固的潜水器才能做到。

环球网 ·  15h前
自动驾驶优势显现 政协委员李彦宏:规模化商用需政策创新

无人驾驶快递车、无人驾驶消毒车……新冠疫情期间无人驾驶的优势已经开始凸显,客观上加速了自动驾驶产业化的进程。在“新基建”的浪潮中,如何及早实现自动驾驶的商业化和大规模应用,并成为智慧城市、智能交通的重要组成部分,成为本届两会关注的焦点之一。

华夏时报 ·  15h前
“天眼”破解停车难 人工智能赋能城市治理

作为解决路侧停车乃至整个智慧交通的抓手,人工智能赋能的高位视频到底有何神秘之处?新华网对此采访了技术解决方案企业和权威专家。

新华网客户端 ·  15h前
GPT-3:被捧上天的流量巨星,却有重大缺陷,很危险...

去年当红的流量明星非GPT-3莫属,能答题、写文章,做翻译,还能生成代码,做数学推理,不断被人们吹捧。不过,过誉的背后也有人开始质疑,GPT-3真的达到了无所不能的地步了吗?

佚名 ·  17h前
快20倍!谷歌AI推TensorFlow 3D,智能汽车好用

Google AI发布了TensorFlow 3D,将3D深度学习能力引入TensorFlow,加入3D稀疏卷积网络,在Waymo Open数据集上的实验表明,这种实现比预先设计好的TensorFlow操作提速「20倍」。

佚名 ·  17h前
AI脑回路竟和人类如此相似,OpenAI最新研究引热议

两个月前轰动网络的AI设计大师CLIP,刚刚被OpenAI“扒开”了脑子。没想到,这个性能强大的AI竟和人类思维方式如此相像。

浩楠 晓查 ·  17h前
AI时代,有人在悄悄模仿你的脸

当前,网络赌博、网络诈骗等违法犯罪分子为逃避警方打击,会通过支付平台进行多次资金转移。在此过程中,很多账号会被平台识别、限制支付,甚至封号。

昌吉网警巡查执法 ·  18h前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载