意念打字登Nature封面!每分钟写90个字符,准确率超99%

作者: 杨净 梦晨 2021-05-13 16:55:51

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

万万没想到,脑机接口这么快就有了重大突破!

甚至还登上了Nature封面

一位截瘫患者,正在用“意念”打出一段话,0.5秒左右就能输出一个字母。

准确率也十分惊人,高达99.1%

意念打字登Nature封面!每分钟写90个字符,准确率超99%

他所需要做的,只是在脑中将字母“手写”出来,然后系统就会自动识别生成字母,一分钟可写90个字符。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

这幅字虽然写的不咋地,但起码受到了Nature的“青睐”。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

值得一提的是,在此之前,这位患者在另一个测试项目中,尝试过“意念”移动光标来打字,不过一分钟只能打出13.4个正确字符 。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

此研究一出,就引发学界、网友的巨大关注。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

祝贺之余,一位华盛顿大学教授甚至直呼:我打的都比它慢!

意念打字登Nature封面!每分钟写90个字符,准确率超99%

RNN立功了

这位代号为T5的老爷子脑中植入的,是两个来自Braingate的电极阵列,各含有96个电极。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

实验刚开始就遇到第一个困难:如何识别用户什么时候开始尝试书写字母。

最后发现原本用于语音识别的模型可以完成这个任务。

解决这个问题之后,研究人员发现书写单个字符时观察到的脑部活动相对固定,并且总是集中在一起。

并且书写形状类似的字母比如“b”和“p”时用到的区域是接近的。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

看来即使瘫痪多年,运动皮层中笔迹的神经表征也没有消退

经过人工标注后,这些数据就可以作为原始数据集了。

接下来是算法,研究人员选择了循环神经网络 (Recurrent Neural Network,以下简称RNN)。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

与常见的前馈神经网络相比,RNN对数据序列中的每个元素执行相同的任务,计算结果取决于之前的所有结果,所以用循环命名。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

RNN更擅长预测连续数据,正适合这次研究的连续书写一个句子。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

RNN虽强大但有一个缺点,就是需要大量的数据,否则容易出现过拟合

这次参与研究的被试就只有老爷子一人,他也不愿意每天花好几个小时大量的进行重复书写提供数据。

不过没关系,还有数据增强 (Data Augmentation)。就是对每个图像数据进行一些微小的改变,旋转一下、缩放一点、或者镜像翻转之类的操作,增加数据的多样性。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

除了26个字母以外,输入英文还得有一些必要的标点符号。比如空格,研究人员就要求老爷子用>代替,英文句号只有一个点也不好分辨,用~代替。此外还有逗号、顿号和问号。

不过这次研究没加入数字,可能是研究人员觉得区分z和2有点难,就留待下次解决了。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

开始训练时使用的数据只有242个句子,随后每天都增加一些,最终共有572个句子,31,472个字符。

最后,为了解决有的英文字母之间过于相似,研究人员还设计了一套专用于脑机接口的字母表进行测试,准确率会高不少,但有学习成本。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

字符准确率最高达99.1%

接着,就到了志愿者测试阶段。

根据屏幕提示,志愿在大脑中一个字母一个字母地复制书写,字符经过识别生成在屏幕上。

结果测试显示,从大脑“手写”字符,到字符在屏幕中出现,中间会有一个延迟,大概在0.4-0.7秒之间。

整体来看,志愿者平均每分钟可以打出18个单词、90个字符,字符错误率仅为5.9%。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

经过类似手机自动纠正的预测语言模型之后,他们进一步将字符的准确率提高到99.1%。

单词的错误率也从25.1%降低到3.4%。

此外,志愿者还进行了一番自我创作——不用复制、自己“书写”句子,结果每分钟也可以打出73.8 个字符,经过预测语言模型纠正后,准确率超过了97%。

最后,为了挑战极限,研究人员还训练了一个新的RNN,用户写完整个句子之后再集中处理,这种方法的正确率高达99.83%,不过用户就得不到实时的反馈了。

实际上,这其实是BrainGate项目的一部分。这是一个多机构联盟的项目,包括布朗大学、美国生物技术公司Cyberkinetics,专注于脑机接口技术,致力于恢复神经系统疾病、损伤或丧失肢体的人的交流、行动和独立性。

此前,这个项目实现了脑机接口信号的无线传输,让患者可以离开实验室环境,在家轻松上网看视频。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

斯坦福大学霍华德・休斯医学研究所(HHMI)研究员、论文作者之一Krishna Shenoy表示,此次研究最大的创新在于,破译了与手写笔记相关的大脑信号,让截瘫患者快速准确的打字。

论文一作,同样是来自斯坦福大学的Frank Willett博士,他表示会将整个研究的代码和神经数据开源。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

目前,它还不是一个完整的、临床的商业系统,毕竟也只在一个人身上进行了测试。

接下来将在更多测试群体、打字功能的拓展(编辑、删除)、扩展字符集(比如大写字母,以及其他语言)等方面进行提升。

是不是可以dream一个汉语?

意念打字登Nature封面!每分钟写90个字符,准确率超99%

除此之外,还有一些因素值得讨论,比如成本和风险。

华盛顿大学生物工程系学者Pavithra Rajeswaran、电气和计算机工程系学者Amy Orsborn表示,这项研究仍需要经过试验论证,将电极植入大脑的费用和风险是否合理。

受益的不止瘫痪者

除了瘫痪患者外,也有因其他伤病导致打字困难的人表示很激动!

意念打字登Nature封面!每分钟写90个字符,准确率超99%

比如闭锁综合症,因部分神经的损坏导致身体部分机能的退化或消失,虽然意识清醒,但无法通过语言交流。

还有重复性压迫损伤 (RSI),包括因使用鼠标或打字不当产生的鼠标手、腱鞘炎等。

有一位RSI患者说,我还需要一个能够模仿鼠标滚轮的功能,不过网友回复他说你用一个脚踩的踏板或者眼球追踪要比侵入型脑机接口简单多了。

意念打字登Nature封面!每分钟写90个字符,准确率超99%

看到这个消息,网友也脑洞大开。

有人发现,想象自己用手写字和直接想象脑海中的轨迹是不一样的感觉,不知道哪个更容易识别。

要不, 你也试试在脑中写字?(手动狗头)

论文链接:
[1]https://www.nature.com/articles/s41586-021-03506-2

脑机接口 机器 人工智能
上一篇:缺乏管理的电子客服不能解决问题,反而更添堵 下一篇:超胆侠来了!「蝙蝠感知」AI让智能手机听声生成3D图像
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI版「女娲」来了!文字生成图像、视频,8类任务一个模型搞定

近来,视觉合成任务备受关注。几天前英伟达的 GauGAN 刚刚上新了 2.0 版本,现在一个新视觉合成模型 Nüwa(女娲)也火了。

机器之心报道 ·  1天前
何恺明MAE大火后,想梳理下视觉Transformer?这篇梳理了100多个

在这篇论文中,Yang Liu 等几位研究者全面回顾了用于三个基本 CV 任务(分类、检测和分割)的 100 多个视觉 Transfomer。

机器之心报道 ·  1天前
抛弃热图回归,滑铁卢大学提出多人姿态估计新方法

近日,来自加拿大滑铁卢大学的研究者提出了一种全新的单阶段多人关键点和姿态检测方法 KAPAO。

机器之心编辑部 ·  1天前
2022年人工智能领域发展七大趋势

人工智能已成为人类有史以来最具革命性的技术之一。“人工智能是我们作为人类正在研究的最重要的技术之一。它对人类文明的影响将比火或电更深刻”。2020年1月,谷歌公司首席执行官桑达尔·皮查伊在瑞士达沃斯世界经济论坛上接受采访时如是说。

刘霞 ·  1天前
三分钟回顾,2021年11月无人机领域动态一览

今年11月,无人机行业便出现不少融资、推新等活动,接下来我们不妨一起来看一下吧!

智能制造网 ·  1天前
三分钟回顾,2021年11月自动驾驶行业全动态一览

缺芯荒加疫情影响,今年以来自动驾驶行业发展被迫放缓,在此背景下,我们不妨不妨从融资、动态两方面,一起来看看复苏后的自动驾驶是如何极速狂飙的吧!

智能制造网 ·  2天前
2021大盘点,这十家AI初创公司有点“料”!

今年的AI初创公司榜单中,涵盖了用于构建AI语音助手的无代码网络平台,用于组织提升和员工技能再培训的AI人才智能平台,以及AI驱动的地理空间分析平台等等。

至顶网 ·  2天前
AI高速发展,它们能取代人与人的互动吗?

人类对互动和交流的需求是根深蒂固的。现代的大多数交互都是通过AI(人工智能)和ML(机器学习)工具完成的。但是,随着AI和ML的兴起,人类互动的重要性会减弱吗?

科幻网 ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载