袖口里的“超能力”:Facebook腕带式AR传感器,可隔空打字、操控界面,LeCun点赞

作者: 子豪 2021-03-22 11:18:53

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

只需动动手,就能「掌」控一切?

Facebook最近公布的腕带式的AR传感器,让你在虚拟世界get绯红女巫同款技能。

这一设备由Facebook的AR/VR研究部门——Facebook Reality Labs(FRL)研发,佩戴者可以通过手腕上的电运动神经信号,以手指动作控制AR眼镜。

就连被称为卷积网络之父的图灵奖获得者、Facebook首席AI科学家Yann LeCun也为之点赞。

功能不断升级

那么,它能用来做什么呢?

据官方介绍,无论是走在路上还是坐着,把手放在身前、两侧或是口袋里,都可以通过腕带实现操控。

最初,腕带只能通过拇指与食指的捏、放手势,实现简单的单击操作。而后,又添加了更为丰富的控制功能,比如可以触摸和移动虚拟对象。

除此之外,研究团队还在进一步探索,力图开发在桌子或膝上高速打字的功能,甚至实现比使用键盘更快的打字速度。

与物理键盘相比,虚拟键盘不仅可以随时使用,而且能够随着时间推移,学习和适应每个人不同的打字风格,并产生适应性的变化,实现更快的打字速度。

FRL团队在个性化模型方面取得了重要进展,使适应个人风格的键盘模型的训练时间得以减少。

不仅如此,FRL研究科学主管Hrvoje Benko表示:

“我们相信,可穿戴的腕带设备可以为AR眼镜,提供超低摩擦、随时可用的输入,但它们本身并不是一个完整的解决方案。

就像鼠标是用户界面的一部分一样,需要在意图预测和用户建模方面为他们提供帮助,以实时适应用户以及特定的环境。”

因此,FRL团队近期正致力于,探索适应特定环境的自适应界面,实现“智能点击”。

也就是,无需用户移动视线、浏览菜单,系统通过在不同环境中预测用户意图,主动提供自适应界面,而用户只需轻量级的反馈,就可以进行控制。

FRL研究科学经理Tanya Jonker也补充道:

“系统会学习有用户位置和关键对象的信息,例如跑鞋或活动识别,根据用户过去的行为预测意图。

比如,往常你穿着某一双鞋出门时,通常会启动音乐程序。那么当你再次穿上它出门,系统认为你最有可能想要收听音乐,于是显示屏上会出现‘是否播放音乐?’选项,用户使用简单的手势确认或更改建议即可。”

利用这些微手势,用户无需停止正在做的事,或是为其分心,从而节省了时间。

Facebook官方介绍中也提到,实现这一功能,需要应用机器学习、人机交互、用户界面设计等技术,目前仍存在许多技术挑战。

虽然利用超低摩擦的输入方式,能够实现与自适应界面的交互,但是要想对虚拟物体有所感知,还需要触觉技术。

对此,FRL研究科学总监Sean Keller表示:

“人们从出生时的第一次抓握,直到灵巧地操作物体和在键盘上打字,手和手指会拥有非常丰富的反馈。

我们利用触觉信号来了解世界,触觉使我们能够使用工具和精细控制。从使用手术刀的外科医生到感觉到琴键边缘的钢琴演奏家,这一切都取决于触觉。”

利用腕带,用户无需进行查看,就能够通过触觉作出识别,并进行决策。比如:

虚拟弓箭就利用腕部的触觉,使佩戴者有近似拉弓的感觉,从而知道自己是否做对了动作;

根据用户设置,收到紧急邮件时,手环能发出比收到普通邮件更为强烈的震动;

当有电话呼入时,通过不同的触觉反馈,用户即可得知对方的身份。

甚至,研究人员还补充说:“触觉还能够传达不同的情感,这可能是改善社交沟通的一种新的方式。”

目前,Facebook团队正在构建研究原型,包括拥有8个气动波纹管的Bellowband,以及使用了6个震动触动器和新颖的手腕挤压机制的Tasbi,以进一步探索的触觉反馈的类型。

利用EMG技术实现控制

这些功能,都是依赖EMG(肌电图)技术实现的。

EMG技术,就是使用传感器,将通过手腕传到手部的电运动神经信号,转化为数字指令。用户可以用这些指令来控制设备的功能,这种控制程度是高度个性化的,可以用于多种情况。

据Facebook介绍,通过手腕发出的信号非常清晰,哪怕是一毫米的手指运动,EMG也可以感知,因此可以毫不费力地输入。甚至在未来,连移动手指的意图也可能感知到。

现任神经运动接口主管的Thomas Reardon表示:

“我们要做的神经界面,就是让用户利用周围神经系统的输出,特别是脑外神经,激活手和手指肌肉的动作,来直接控制机器。”

为什么要选择手腕?

FRL团队对此作了解释:

手是人们接触世界的重要身体部分,戴在手腕上能够利用手部丰富的控制功能,实现更好的交互功能。

与语音控制相比,穿戴设备更便于在公共场合使用;

类似手表的设计使其能够用于日常生活和社交环境;

并且,手腕位置也适合舒适地佩戴一整天;

而设计成一款单独的设备,能够实现更便捷的应用,无需通过手机或是其他设备控制;

置于手腕的可穿戴设备还可以轻松地作为计算、电池和天线的平台,同时支持多种传感器。

网友关注

这项获得LeCun点赞的技术,自然也引起了网友的广泛关注。

不少网友为此感到惊喜:

“这是实际的延迟效果吗?看起来很棒。”

还有一些网友,对这项技术的应用提出了设想:

“这可以让失去手的人,仍然能依靠神经来模拟手势,不是吗?”

“毫无疑问,这可以用于连接假肢,并且推进恢复和学习过程。”

不过,有人提出了质疑:

“什么?这不是很多年以前的MYO手环吗?”

事实上,这款基于EMG技术的腕带的雏形MYO,最初由AR眼镜公司North的前身Thalmic Labs开发,而后其专利被初创公司CTRL-labs收购。

2019年,Facebook斥资数亿美元收购了CTRL-labs,原研究团队也随之加入FRL。

与此同时,也有网友对此感到欣喜:

“早在几年前,当我第一次阅读有关Myo的文章时,我就想知道它对于VR的潜力。很高兴它取得现在的成果。”

这款手环主要用于配合Facebook正在研发的AR眼镜使用,上市时间尚未公布。

Facebook 开发 技术
上一篇:普渡科技上榜“2021中国餐饮最具创新力TOP100品牌” 下一篇:人工智能未来的发展如何?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

大脑模拟NLP,高德纳奖得主:神经元集合演算用于句子解析

一个简单的大脑模型为人工智能研究提供了新的方向。世界顶尖计算机科学理论学家、哥德尔奖和高德纳奖获得者、哥伦比亚大学计算机科学教授 Christos Papadimitriou 关于「大脑中单词表征」的演讲。

Ben Dickson ·  2021-06-01 09:39:24
中国人开始反算法:不登录、不点赞、不关注、不评论

“算法不讲武德!”越来越多年轻人发觉,生活正在被算法控制。

深燃团队 ·  2021-05-31 09:03:12
新型人造肌肉,超广泛应用场景!微型机器人:很需要

人造肌肉一直是科学界的重要研究课题,理想情况下其不仅能够应用于医学领域,帮助病人恢复健康,并且还可以应用于机器人制造业,助力机器人的进一步研究。

科技园地 ·  2021-05-27 13:26:10
三人「围桌」脑科学VS人工智能,相互博弈中如何突围?

近日,三位分别来自投资界、学术界、企业界的专业大咖罕见地聚到一起,围绕「人工智能VS人类大脑谁将胜出?」「科学范式正在发生哪些重大改变?」等行业热议话题进行了一场深度、前沿的高端对话

佚名 ·  2021-05-24 15:26:35
NTT携手思科采用AR技术提高生产力

通过与思科和NTT合作,客户发现头戴式协同设备是满足其关键要求的最佳选择。与选择AR设备同样重要的是将其整合到他们现有的协作环境中。

NTT ·  2021-05-24 10:25:25
机器人感知系统是如何工作的?

机器人感知系统把机器人各种内部状态信息和环境信息从信号转变为机器人自身或者机器人之间能够理解和应用的数据、信息,除了需要感知与自身工作状态相关的机械量,如位移、速度、加速度、力和力矩外,视觉感知技术是工业机器人感知的一个重要方面。

佚名 ·  2021-05-21 14:11:15
机器人赋能医疗!然而,医疗机器人距离爆发还有四道关

近年来,使用机器人替代人力劳作已经成为一大趋势。无论是家庭中的消费型扫地机器人,还是商场、酒店中的清洁机器人,越来越多的机器人开始被应用到生活场景中。在医疗领域,医疗机器人也开始频繁刷起“存在感”。

德培论道 ·  2021-05-21 11:11:40
警惕!“唇读”按键来窃取你的数据,AI太可怕了

聪明的人类总会脑洞大开,由他们训练出的AI系统也许很快就能学会如何根据按键操作或手拗移动推断出输入的文本。这事绝对细思极恐,稍后我们会深入做出解释。

科技行者 ·  2021-05-21 10:49:52
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载