科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至3%

作者: 张路 2020-04-02 10:16:59

本文转自雷锋网,如需转载请至雷锋网官网申请授权。

美国加州大学旧金山分校的科学家,已经训练出一种算法,可以直接将受试者的脑电波实时翻译成句子,错误率仅为 3% 。

这项研究发表在《自然神经科学》(Nature Neuroscience)杂志上,他们招募了 4 位志愿者,这些志愿者被要求多次朗读 30-50 个固定句子,而电极记录下他们的大脑活动。[1]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【 雷锋网注:人类对大脑所知甚少。图片来源:Pixabay  所有者:Gerd Altmann 】

这些数据随后被输入到机器学习算法,它将每个句子的大脑活动数据转换成一串数字和字符串。

系统从这些大脑活动数据再推导出声音,并和实际记录的音频进行比较。数字和字符串则被再次输入到系统,转换成一个单词序列。

起初,系统会吐出毫无意义的句子。但是当系统将每个单词序列与实际朗读的句子进行比较时,它得到了改进,学会了数字字符串与单词的关系,以及哪些单词是有上下文关系的。

算法不断的训练,直到从说话时的大脑活动中产生书面文本,类似机器翻译。

新系统的准确性远远高于以前的方法。虽然准确性因人而异,但对于其中一位志愿者来说,平均每个句子只有 3% 需要纠正,高于速记员 5% 的单词错误率。

当然,目前这个系统还是有很大局限,算法还只能处理少量的句子。系统也不能用于严重残疾失去语言能力的患者,因为它依赖于记录大声说出句子的人的大脑活动。

然而,每个志愿者只用了不到 40 分钟来训练,在有限的小数据集情况下,达到了迄今为止最大的精确度。

脑机接口

从人类大脑信号到外部设备之间建立连接通路并不是新鲜事,脑机接口的研究已持续了 30 年。

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【 雷锋网注:脑机接口近30年来一直是研究热点。图片来源:Pixabay  所有者:aytuguluturk 】

在过去的十年,我们已经能够解码语音信号,但是局限于孤立音素或者单音节词,在一段 100 个单词的连续语音的情况下,解码正确的单词少于 40% 。

科学家们此次找到的是一个更直接的方法,就是采取机器翻译类似的算法。机器翻译就是将文本从一种语言到另一种语言的算法翻译,只不过这次输入的文本变成了脑电波信号。此次发表的论文《使用编码器-解码器框架:大脑皮层活动到文本的机器翻译》,正是详细描述了这一过程。

在系统对一个志愿者进行训练之后,再对另外一个志愿者训练时,解码结果得到了改善,这表明该技术可以在人和人之间进行迁移。

在 GitHub 上,放置了论文对应的代码。

ecog2txt 模块,用于从神经数据中将语音解码为文本。它用 Python 代码实现了跨主题的迁移学习的高级功能。[2]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【雷锋网注:ecog2txt是论文对应的开源实现模块】

而训练本身则是通过另一个 machine_learning 软件包,它在 TensorFlow 里实现了一个序列到序列的网络。[3]

这些软件包的作者,也是论文的联合作者之一约瑟夫·马金(Joseph Makin)博士,他目前是加州大学旧金山分校整合神经科学中心的研究科学家。他的专业是电机工程和计算机科学,专门研究控制理论,包括脑机接口的算法开发。[4]

科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至 3%

【雷锋网注:上图为张爱德博士】

论文的另外一个联合作者是张爱德(Edward Chang)博士,他是医学博士和神经外科医生,擅长为患有癫痫病,脑瘤,三叉神经痛,面肌痉挛和运动障碍的成年人提供治疗。他目前是加州大学旧金山分校威尔神经科学研究所的神经外科教授,还领导了一个神经工程与假肢中心,以恢复瘫痪和言语障碍等神经疾病患者的功能。[5]

网友评论

科学家们曾经认为将大脑信号转换为可理解的语音可能需要数十年,而现在这个间隔可以用几年来衡量。在 reddit 的科学板块,该消息引发了 3 万多次点赞和上千条评论。[6]

网友 derlumpenhund 评论说,这并不表示思想阅读机发明出来了。它主要依赖于解码口舌运动时对应的大脑皮层活动,需要收集给定主题的数据,并且提前进行训练,并不会直接解码你的思想活动。话虽这么说,这一进展也很了不起。

网友 boointhehouse 则说,如果这项技术早点用于斯蒂芬·霍金,在他的一生中还能完成更多的工作。

机器学习 人工智能 计算机
上一篇:5G风头正盛 人工智能要被“冷落”了? 下一篇:学不动了?麻省理工 CS 和 EE 网课开放了
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

科技史上超炸组合「元宇宙+脑机接口」,离我们还有多远?

技术推进门槛很硬,资本市场敬而远之,伦理问题纠缠不清。脑机接口距离元宇宙还差了几个"VR元年"?

董子博 ·  1天前
芯片短缺对人工智能有多大伤害?

全球芯片短缺的影响随处可见:从家用电器价格上涨到消费电子设备产能受限。急需处理器的人工智能应用也正面临压力,不过SambaNova CEO表示,硬件本身并不是人工智能成功的决定性因素。

AI时代前沿 ·  2天前
2021年人工智能与自动化的发展趋势

自动化正在成为许多市场的首要任务,特别是随着远程工作的增长和劳动力短缺改变了传统的工作模式,很多企业转而采用更可持续的自动化解决方案。

Shelby Hiter ·  2天前
人工智能能否帮助金融行业有效应对勒索软件?

现在是金融机构安全意识进一步发展的时候了——这意味着要超越试图阻止勒索软件突破防火墙的预防性方法,专注于用能够检测和阻止攻击的工具武装自己。

Garry Veale ·  2天前
AI视频分析技术是如何工作的?原理是什么?

实时 AI 视频分析是一种基于人工智能的技术,可分析视频流以检测特定行为和事件的展开。这种类型的系统通过人工智能机器学习引擎检查来自监控摄像头的视频流来进行相关工作。该引擎使用一系列算法和程序来理解数据,并将数据转换为可理解的、有意义的信息。

EasyNVR ·  2天前
AI能成科学家的工具人?Nature采访五位顶尖学者:学会写代码,降低期望

AI 对于其他领域的科研来说是一个极其好用的工具,DNA测序、天文地理甚至艺术领域都必须要用到AI 模型来提供灵感。最近Nature 采访了五位跨领域的专家,听听他们对于AI 工具人有什么想法?

佚名 ·  2天前
人工智能与云计算正加速形成应用生态

人工智能在赋能生产力升级,推动各行业完成智能化转型和新旧动能转换的进程中发挥着重要作用。同时,人工智能技术也已经广泛应用在金融、教育、医疗、能源、消费、工业等各行业多场景之中。

佚名 ·  2天前
Facebook在ICCV 2021 发布两个3D模型,自监督才是终极答案?

在 ICCV 2021 上,Facebook AI提出了两个新模型3DETR和DepthContrast,这两个互补的新模型可促进3D理解并更容易上手。

佚名 ·  2天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载