用深度学习快速人脸建模

作者: 佚名 2017-05-27 14:00:06

用深度学习快速人脸建模

简介

脸部建模一直是计算机图像和视觉领域的热门话题,包括卡通人物建模、人脸艺术设计、人脸实时重构等等,尤其是交互式人脸建模。我们构建了一个快速的、交互的、基于深度学习的人脸建模框架。通过简单勾勒人脸图画(caricature),我们的模型可以迅速生成对应的三维人脸模型,并且可以同时拟合面部轮廓和细节表情。同时我们也提供了多种方式进行快速的模型修改。实验证明我们的结果具有高精度和快速度。

框架

非常推荐大家通过视频了解我们的框架:

Youtube: DeepSketch2Face(SIGGRAPH2017) Youtube

腾讯视频: DeepSketch2Face(SIGGRAPH2017) 腾讯视频

框架的流程如图所示:

初始绘制模式(Initial Sketching Mode)

我们采用了卷积神经网络(CNN)来学习二维绘画的人脸特征。如图所示,输入是 256 乘 256 大小的绘画图片,通过卷积层提取特征,结合每个像素点的双线性插值编码,利用不同的全连接层,最终输出一个 50 维的人脸向量和一个 16 维的表情向量。我们预设了 50 个人脸基底和 16 个表情基底,最终输出的模型则是向量和基底的点乘。我们可以做到近乎实时的渲染,即用户每勾勒一笔线条,迅速输出对应的拟合三维模型。(对于卷积层,我们采用了较老的 AlexNet。我们也试验了 Resnet 等更新的网络结构,在精度上没有特别显著的提升;同时考虑到实时绘制的速度要求,我们选择了这样一个折衷方案。)

以下是一些真实渲染结果:

连续绘制模式(Follow-up Sketching Mode)

利用同样的卷积神经网络以及区域变形技术(Laplacian deformation),我们给用户提供了简易修改的绘制方案。对于不精于从空白纸张绘制肖像的用户,或者不想生成复杂人脸形状的用户,可跳跃***步直接进行连续绘制。在连续绘制模式下,由单向工程(二维 -> 三维)转变为双向工程 (二维 <-> 三维):用户可直接从当前生成或预设的三维模型得到一个二维的人脸轮廓,并基于这个人脸轮廓进行修改、删除、变形等操作;类似于***步,这个二维轮廓可以生成相应的三维模型。

下图是一个典型的通过连续绘制模式生成的模型:

精细修改模式(Gesture-based Refinement)

我们提供了基于手势的精细修改模式。如图所示,用户可以通过相应的手势,选取图像的区域进行变形,如面颊凸起,眉毛修改、面部轮廓修改等等。用户的手势也是通过一个简单的卷积神经网络学习,输入是用户绘画的手势,输出是对应的操作。 

其他

平均来讲,基于我们的框架,新手绘制一个人脸模型只需要 5~7 分钟,熟练后甚至在一两分钟内就画出一个逼真的人脸模型。我们支持多种模型格式输出,以便对接其他平台。用户在实时操作过程中可以无障碍地进行撤销和恢复操作。用户操作窗口本身也支持各种常见的渲染操作,如放大缩小旋转移动贴图等等。同时,我们也提供了一个用于人脸建模的数据库,包含极大量的人脸模型,及其不同的表情和夸张程度(levels of exaggeration)

结尾

有了这个软件,再也不用担心不会建模了!更多关于模型的细节和数学公式,请参考原论文DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling。

深度学习 人脸建模
上一篇:用深度神经网络处理NER命名实体识别问题 下一篇:专访DeepMap COO罗维:自动驾驶时代,创业公司如何在高精度地图领域突围?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

了解有关符号人工智能,象征性AI的好处和局限性

如今,人工智能主要是关于人工神经网络和深度学习。但这并非总是如此。实际上,在过去的十年中,该领域大部分都由象征性人工智能主导,也被称为“经典AI”,“基于规则的AI”和“老式的AI”。

AI国际站 ·  1天前
人工智能在半导体市场的发展潜力及其意义

IHSMarkit在本周发布的一项人工智能应用调查中预测,到2025年,人工智能应用将从2019年的428亿美元激增至1289亿美元。

佚名 ·  4天前
2020年第一季度人工智能的最新进展

人工智能曾经只是科幻小说,是计算世界的遥不可及的梦想,如今已成为现实。 人工智能,简称AI,是用来描述机器模拟人类智能的能力。

闻数起舞 ·  2020-05-31 14:11:20
12个场景应用,百余种算法,AI是如何攻占经济学的?

在虚拟世界中模拟现实经济状况,想法设计更好的制度只是AI和经济学结合方式之一。其实深度强化学习在面临风险参数和不确定性不断增加的现实经济问题时,也可以提供更好的性能和更高的精度。

蒋宝尚 ·  2020-05-28 16:04:02
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点

本文筛选并简单介绍了一些最常见算法类别,还为每一个类别列出了一些实际的算法并简单介绍了它们的优缺点。

佚名 ·  2020-05-21 14:50:37
用TFserving部署深度学习模型

本文介绍了TFserving部署线上推理服务,从模型的转换,部署启动和调用推理,欢迎交流,希望对你有帮助。

佚名 ·  2020-05-21 14:05:17
520开发者的情人节 飞桨全平台35项升级大礼“示AI”

5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的“WAVE SUMMIT 2020”深度学习开发者峰会以线上形式召开。本届峰会,飞桨公布最新全景图,带来多达35项全新发布和重磅升级,不仅进一步升级核心框架、完善从开发训练到部署的全流程工业级极致体验、深化企业端服务,更着眼未来,引领布局前沿技术,首发量子机器学习开发工具“量桨”,以及蓄力AI人才培养和开发者生态,发布青少年AI科普教育“晨曦计划”、“星辰计划”开发者探索基金等。

佚名 ·  2020-05-20 14:07:06
百度CTO王海峰:飞桨深度学习平台是新基建的重要一环

5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的“Wave Summit 2020”深度学习开发者峰会在线上召开。百度CTO王海峰在致辞中表示,时代契机为飞桨的发展提供了最好的机遇,作为中国首个开源开放、功能完备的产业级深度学习平台,飞桨将与产业紧密融合,与开发者并肩前行。

佚名 ·  2020-05-20 11:32:27
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载