打开摄像头,2D插画实时变动画,中国程序媛出品,Demo在线可玩

作者: 鱼羊 2020-05-11 13:56:43

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

画一只狸(jian)克(shang),并让它拍摄一个「催款」的特写,需要几步?

只需要给狸克安上骨架,再把导出的SVG文件拖进浏览器里,就齐活儿了。

就像这样,你对着镜头怎么动,狸克就怎么动:

这个TensorFlow.js项目名叫Pose Animator,Demo一上线,网友们已经玩嗨了。

比如Julia Jaskólska这位设计师小姐姐,就让自己的舞蹈跟自己的插画作品完美融合了起来:

既锻炼了身体,又开发了新的创作可能性。

她欢快地评论道:

万万没想到,让我的插画动起来竟然这么简单!

实现细节

所以,插画是如何动起来的呢?

作者介绍,Pose Animator是基于PoseNet和FaceMesh这两个TensorFlow.js模型的识别结果,来对2D矢量图及其骨架进行实时动画处理的。

其中,借鉴了计算机图形学中骨骼动画的思想,并将其应用于矢量字符。

在骨骼动画中,一个角色由两部分组成。

其一是用于绘制模型的蒙皮,其二是控制动作的关键——骨架。

在Pose Animator中,蒙皮由输入SVG文件中的2D矢量路径定义。

并且,Pose Animator提供了基于PoseNet和FaceMesh设计的、预设好的骨骼层次结构表示。

骨架结构的初始姿势由用户在输入的SVG文件中指定。

而其后实时的骨骼位置,则根据机器学习模型的识别结果进行更新。

目前,作者已经推出两个网页Demo。

一个能根据你镜头实时捕捉到的画面,让2D图像动起来。

另一个则针对静态图像。

所以,如果你感兴趣,就可以在电脑端的Chrome和iOS Safari这两个浏览器里玩起来啦。

另外,在安卓手机上的Chrome上,量子位亲测可用。

中国程序媛出品

Pose Animator的作者,是谷歌创意技术专家Shan Huang。

Shan Huang本科毕业于卡内基梅隆大学,专业是计算机科学,辅修人机交互。2014年加入谷歌(上海)。

当年火爆全网的猜画小歌项目,就是她发起的项目。

传送门

GitHub项目:https://github.com/yemount/pose-animator

镜头捕捉版Demo:https://pose-animator-demo.firebaseapp.com/camera.html

图片版Demo:https://pose-animator-demo.firebaseapp.com/static_image.html

2D 插画 人工智能
上一篇:超简单的神经网络构建方法,你上你也行! 下一篇:真大神!AI 修复百年前民国北京影像,网友:仿佛穿越了
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

科技史上超炸组合「元宇宙+脑机接口」,离我们还有多远?

技术推进门槛很硬,资本市场敬而远之,伦理问题纠缠不清。脑机接口距离元宇宙还差了几个"VR元年"?

董子博 ·  1天前
芯片短缺对人工智能有多大伤害?

全球芯片短缺的影响随处可见:从家用电器价格上涨到消费电子设备产能受限。急需处理器的人工智能应用也正面临压力,不过SambaNova CEO表示,硬件本身并不是人工智能成功的决定性因素。

AI时代前沿 ·  2天前
2021年人工智能与自动化的发展趋势

自动化正在成为许多市场的首要任务,特别是随着远程工作的增长和劳动力短缺改变了传统的工作模式,很多企业转而采用更可持续的自动化解决方案。

Shelby Hiter ·  2天前
人工智能能否帮助金融行业有效应对勒索软件?

现在是金融机构安全意识进一步发展的时候了——这意味着要超越试图阻止勒索软件突破防火墙的预防性方法,专注于用能够检测和阻止攻击的工具武装自己。

Garry Veale ·  2天前
AI视频分析技术是如何工作的?原理是什么?

实时 AI 视频分析是一种基于人工智能的技术,可分析视频流以检测特定行为和事件的展开。这种类型的系统通过人工智能机器学习引擎检查来自监控摄像头的视频流来进行相关工作。该引擎使用一系列算法和程序来理解数据,并将数据转换为可理解的、有意义的信息。

EasyNVR ·  2天前
AI能成科学家的工具人?Nature采访五位顶尖学者:学会写代码,降低期望

AI 对于其他领域的科研来说是一个极其好用的工具,DNA测序、天文地理甚至艺术领域都必须要用到AI 模型来提供灵感。最近Nature 采访了五位跨领域的专家,听听他们对于AI 工具人有什么想法?

佚名 ·  2天前
人工智能与云计算正加速形成应用生态

人工智能在赋能生产力升级,推动各行业完成智能化转型和新旧动能转换的进程中发挥着重要作用。同时,人工智能技术也已经广泛应用在金融、教育、医疗、能源、消费、工业等各行业多场景之中。

佚名 ·  2天前
Facebook在ICCV 2021 发布两个3D模型,自监督才是终极答案?

在 ICCV 2021 上,Facebook AI提出了两个新模型3DETR和DepthContrast,这两个互补的新模型可促进3D理解并更容易上手。

佚名 ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载