AI现在能教你画画了

作者: 丰色 2021-05-28 10:22:15

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

画画新手们,如何才能画出一副像样的手绘肖像?

除了假以时日的练习,或许也可以借助下面这款工具!

首先,你只需画出人脸轮廓图,例如下面这样:

AI现在能教你画画了

然后,计算机就能向你提示肖像整体结构的线条,供你参考:

AI现在能教你画画了

接着,再给出人脸细节的提示线条:

AI现在能教你画画了

最终,你就能画出这样一幅作品了:

AI现在能教你画画了

是不是比新手徒手一张白纸要强很多?

两步引导教你画肖像

这款工具叫做dualFace

它之所以能辅助绘画新手和普通用户画出像样的肖像画,是因为可以根据你的初始线条

给出人像全局框架和局部细节的素描线条

你只需照着它来,没有经过绘画培训的“手残党”也可以完成!

AI现在能教你画画了

在全局引导阶段,dualFace根据你绘制的大概轮廓,就能从内部数据库中搜索出若干相

关人像,并在画布背景上显示建议的人脸轮廓线。

在局部引导阶段,dualFace利用全局指导绘制的轮廓线,用深度生成模型合成人脸图

像,然后将合成结果的细节(眼睛、鼻子、嘴等)作为辅助线条给出来。

请注意,在全局阶段,人像是数据库中真实的人像。而局部阶段,是合成的虚拟人像。

为什么两阶段不用同一种人像呢?

AI现在能教你画画了

这样做是为了让计算机给出的指导更具多样性!毕竟数据库里的人都是有限的,使用生

成模型可以在细节区分出更多的肖像。

另外dualFace具有切换功能,用户可以选择最合理的局部指导;

如果用户认为局部指导不符合他们的想象,也可以通过点击按钮来使绘制过程返回到全

局阶段。

AI现在能教你画画了

下面就来说说这两个阶段具体如何操作的:

全局引导

全局引导阶段分为三步:数据生成,轮廓匹配和交互式指导。

数据生成就是把数据库中的人脸图像转换成人脸轮廓。

他们使用双向分割网络(BiSeNet)来生成人脸原图的语义标签蒙层(mask)。再从这

个语义标签蒙层中提取人脸轮廓。蒙层中的每个像素(eg. 眼睛、鼻子和嘴巴)都有来

自原图的面部标签ID(为了方便后面的搜索)。

另外,轮廓图像与相应的原始人脸图像一起存储。

轮廓匹配步骤,通过计算用户画的轮廓与数据库中存储的轮廓图像的相似度,得到最接

近的轮廓图像。使用了GALIF(Gabor Local Line-based Feature, 基于局部线条的Gabo

r特征描述符)进行草图检索和局部形状匹配。

交互式指导步骤根据用户不断更新的笔划实时检索出最相似的“候选对象”,并将其转换

成阴影图。

AI现在能教你画画了

局部引导

提供了整体结构图后,系统就开始提供细节线条了。

局部引导阶段包括两个步骤:蒙层(mask)生成和肖像草图生成。

蒙层生成步骤,利用全局阶段中的用户所绘,和在全局阶段-数据生成部分生成的数据

库人脸蒙层,系统可以生成最终蒙层,如下图。

AI现在能教你画画了

肖像草图生成步骤,采用MaskGAN生成与上一阶段匹配的“真人”肖像,并采用APdrawi

ngGAN将肖像图转为素描图。

其中,由于这两个生成模型是独立训练的,为了连接它俩,该步骤还使用梯度提升决策

树(GBDT)来计算人脸标志点,并将合并后的蒙层转换成二进制背景轮廓。

此阶段可以生成多幅详细的人像素描,用户可以选择最需要的一个作为后续绘制的参

考。且用户一开始画的轮廓图不全也没关系,缺少的部分可以通过“笔划—蒙层映射优

化”自动完成。

以上就是两个阶段引导的具体实现过程。

接下来,他们进行了用户研究,以定性的方式验证该工具的效果。

无法正确识别抽象的输入

dualFace是在windows10平台上用Python编写的一个实时绘图程序。

全局指导阶段,每次释放鼠标后平均需要0.36 s来检索图像,而在局部指导中每生成一

幅肖像图像需要2.78 s

下面是试验者从全局和局部以及整体使用感受上的问卷调查结果,满分5分,平均分都

在3.9以上。

从整体用户体验来看,所有参与者都认为该工具可以帮助他们更好地绘制肖像。

AI现在能教你画画了

而和其他绘图工具相比,dualFace在空间关系和面部细节的绘图评价上取得了较高的成

绩,平均分分别为4.5分和4.32分。

因此,dualFace可以引导用户通过正确的面部空间关系和详细的面部特征来获得更好的

肖像画,而其他绘图程序可能无法提供这些信息。

此外,下图最右显示,使用dualFace画画最短花费4分15秒,最长17分15秒,平均花费

在10分钟左右。虽然用户的绘画技巧可能不同,但是花费更多时间必然会导致更好的绘

图结果。

AI现在能教你画画了

下面是试验者的画画成果:

AI现在能教你画画了

可以看出,系统给出的指导图的水平都差不多,但最终结果还是有点受限于用户的实际

画画水平的

AI现在能教你画画了

不过正如前面所说的,最后一组只画了眉毛和眼睛,系统也不会受到限制,也可以给出

完整的指导图。

当然,他们这个方法也有局限性:抽象的草图可能无法转换为合理的人脸mask。

例如,下图中用户画的轮廓中的嘴被错误地视为了鼻子的一部分,这就导致后面一系列

图的鼻子都不对劲。

AI现在能教你画画了

这是因为人脸数据库中都是真实的照片,dualFace只能支持绘制具有真实风格的人像。

所以,表情、夸张卡通造型等高层次的语义素描用它都很难实现。

作者介绍

此项目研究人员来自日本北陆先端科学技术大学院大学和东京大学。

前者是于1990年设立的研究院性质的日本国立大学,拥有多个日本重点扶持学科,科研

水平比肩东大、京大,在信息科学领域的研究极其顶尖。

7名研究成员中4位为华人,其中包括论文一二作。

试玩可戳GitHub地址下载:

https://github.com/shasph/dualFace

论文地址:

https://www.arxiv-vanity.com/papers/2104.12297/

AI 数据 人工智能
上一篇:协作机器人技术如何成为工业4.0战略的核心 下一篇:美国教授揭发AI顶会作弊:作者串通审稿人,垃圾论文也能过审
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI版「女娲」来了!文字生成图像、视频,8类任务一个模型搞定

近来,视觉合成任务备受关注。几天前英伟达的 GauGAN 刚刚上新了 2.0 版本,现在一个新视觉合成模型 Nüwa(女娲)也火了。

机器之心报道 ·  1天前
何恺明MAE大火后,想梳理下视觉Transformer?这篇梳理了100多个

在这篇论文中,Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务(分类、检测和分割)的 100 多个视觉 Transfomer。

机器之心报道 ·  1天前
抛弃热图回归,滑铁卢大学提出多人姿态估计新方法

近日,来自加拿大滑铁卢大学的研究者提出了一种全新的单阶段多人关键点和姿态检测方法 KAPAO。

机器之心编辑部 ·  1天前
2022年人工智能领域发展七大趋势

人工智能已成为人类有史以来最具革命性的技术之一。“人工智能是我们作为人类正在研究的最重要的技术之一。它对人类文明的影响将比火或电更深刻”。2020年1月,谷歌公司首席执行官桑达尔·皮查伊在瑞士达沃斯世界经济论坛上接受采访时如是说。

刘霞 ·  1天前
三分钟回顾,2021年11月无人机领域动态一览

今年11月,无人机行业便出现不少融资、推新等活动,接下来我们不妨一起来看一下吧!

智能制造网 ·  1天前
颠覆大规模预训练!清华杨植麟组提出全新NLP学习框架TLM,学习效率×100倍

近期,清华大学团队提出一种无需预训练的高效 NLP 学习框架,在仅使用了1% 的算力和1% 的训练语料的条件下,在众多 NLP 任务上实现了比肩甚至超越预训练模型的性能。

佚名 ·  2天前
三分钟回顾,2021年11月自动驾驶行业全动态一览

缺芯荒加疫情影响,今年以来自动驾驶行业发展被迫放缓,在此背景下,我们不妨不妨从融资、动态两方面,一起来看看复苏后的自动驾驶是如何极速狂飙的吧!

智能制造网 ·  2天前
2021大盘点,这十家AI初创公司有点“料”!

今年的AI初创公司榜单中,涵盖了用于构建AI语音助手的无代码网络平台,用于组织提升和员工技能再培训的AI人才智能平台,以及AI驱动的地理空间分析平台等等。

至顶网 ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载