这一次,脑机接口可以实时读取人类脑中画面了?

作者: 机器之心 2019-11-01 12:36:14

在读取语言之后,脑机接口也可以实时读取人类脑中的画面了。

由俄罗斯脑机接口公司 Neurobotics、莫斯科物理技术学院(MIPT)研发的一种全新脑机接口算法最近被公之于众,它可以利用人工神经网络和脑电图将人类大脑中的图像实时显示在计算机屏幕上。而且,与马斯克脑机接口公司研发的「大脑缝纫机 」不同,这种脑机接口无需开颅植入电极,在临床和日常生活中应用更加广泛。

这一次,脑机接口可以实时读取人类脑中画面了?

一位被试正在使用该脑机接口。右下角是被试观看实时画面,右上角是通过脑机接口重建的画面。

今年 7 月,Facebook 与加州大学旧金山分校(UCSF)有关脑机接口实时读取人类语言的研究刚刚登上《Nature》子刊,其快速解码的机器学习算法效果令人惊叹。

现在看来,我们不仅有望实现「意念打字」,或许还可以使用人眼这一「精度超高」的摄像头来进行录像,实现科幻影视作品描绘的图景。不过,这篇莫斯科物理技术学院的论文还没有经过同行评审。

英剧《黑镜》一集中的男主角过海关时被要求回放自己通过某种设备肉眼录下的视觉记忆。

对于研究者来说,新成果使得构建由脑信号控制的中风后康复装置成为可能。研究团队在 bioRxiv 上发表了相关研究论文,还发布了一段他们「读心」系统的效果视频。虽然画面比较模糊,但我们依然可以分辨出画面中的大致场景类别(如人、瀑布、车景)。

这一次,脑机接口可以实时读取人类脑中画面了?

视频中原始图像和神经网络处理 EEG 信号重建的图像对比(由于版权原因,人像原图被替换了)。

为了构建这一设备,神经生物学家需要理解大脑如何编码信息。其中一个关键方面是,研究人们在观看视频时感知视觉信息的大脑活动过程。

现有的解决方案是,要么使用功能磁共振成像来提取观察到的图像,要么通过植入物直接分析来自神经元的信号。两种方法在临床和日常生活中的应用都非常有限。

俄罗斯研究者开发的这种脑机接口依赖的是人工神经网络和脑电图(EEG),后者是一种可以通过非侵入式电极(无需手术植入)记录脑电波的技术。通过分析大脑活动,该系统可以实时重现人类看到的图像。

「我们正在进行国家技术计划(National Technology Initiative)神经网络辅助技术项目,该项目致力于构建一种脑机接口,让中风患者控制手臂外骨骼、瘫痪患者驾驶电动轮椅等,最终目标是让健康的人也能提高神经控制的准确率,」MIPT Neurorobotics 实验室负责人 Vladimir Konyshev 表示。

技术细节

该脑机接口的构建实验共分为两个阶段。

在第一阶段,神经生物学家让健康的人观看一些 10 秒的 YouTube 视频片段,总共 20 分钟。研究团队随机选择了 5 个视频类别:抽象形态、瀑布、人脸、移动的装置和汽车运动。

这一次,脑机接口可以实时读取人类脑中画面了?

通过分析脑电图数据,研究者发现,每一类视频的脑电波是不同的。这使得研究小组能够实时分析大脑对于视频的反应。

在实验的第二阶段,研究者从五个类别中随机选择了三个类别并开发了一个本地反馈(native feedback)模型,反馈模型的核心思想是将脑机接口分类器的预测结果以自然图像的形式呈现出来,而且要尽可能与实际观察到的图像接近。

该模型分为两个神经网络:一个用于从「噪声」中生成随机特定类别图像,另一个根据脑电图生成类似的「噪声」。接下来,该团队训练这两个网络协同工作,将脑电图信号转换为与被试观看内容相似的实际图像。

论文中提到的本地反馈模型如下图所示。

这一次,脑机接口可以实时读取人类脑中画面了?

图 2:本地反馈模型的总体方案。

将降维后得到的 20 维脑电图特征向量映射到预先训练好的图像自编码器的潜在空间中,这个自编码器能够重建几个预学习类别的自然图像。图像解码器不依赖于任何神经生理学数据,仅考虑一组刺激图像即可进行预训练。特征映射器是单独训练的,因为它既需要脑电图特征库,也需要一个训练好的图像解码器。

图像解码器

图像解码器(ID)是图像到图像卷积自编码器模型的一部分。编码器部分基于预训练的 VGG-11 模型。解码器部分由全连接输入层组成,用于维度增强,然后是 5 个解卷积块,每个解卷积块包含一个解卷积层,然后是 ReLU 激活。最后的解卷积块包含双曲正切激活层。解码器生成 192×192×3 维的彩色图像(见图 3a)。

这一次,脑机接口可以实时读取人类脑中画面了?

图 3. 图像解码器.a)模型结构;b)常规训练

除了图像重建之外,解码器还有一个特定的潜在空间分布。他们通过引入一个图 3(b)所示的训练过程来解决这个问题。

脑电图特征映射器

脑电图特征映射器的目标是将脑电图特征域的数据转换成图像解码器潜在空间域。在理想状态下,观察到的图像和此时的脑电图记录最终会转换为同一个潜在空间矢量图,因此解码器能够根据刚才看到或想象的场景去生成一个正确的视觉图像。

另一个问题是如何应对嘈杂的数据:由于存在未检测到的伪像,或者被摄对象分散注意力,实时记录场景中的脑电图信号属性可能会发生显著变化。此时反馈系统应避免出现混乱的图像切换,以免给观察对象太多的压力。

人类脑中的图像是连续数据,所以使用循环神经网络就变得顺理成章了——新的算法使用了 LSTM 组件作为循环单元。此外,研究人员还整合了注意力机制。

这一次,脑机接口可以实时读取人类脑中画面了?

图 4,脑电图特征映射。a)模型结构;b)训练方法。

测试结果

为了测试该系统呈现头脑活动的能力,研究者选了一些同一类的以前看过的视频。正如他们看到的那样,脑电图被记录下来,然后反馈给神经网络。系统通过了测试,生成了具有可信度的图像,90% 都可以很轻松地进行分类。

和大多数 AI 算法一样,研究人员提出的神经网络模型是用 Python 实现的,运行的计算机也只需普通台式机:英特尔 i7 处理器,英伟达 GeForce 1050Ti 显卡。在读取的过程中,算法可以处理每秒 3 帧图像。通常,在分类上约有 90% 的重建图像是可识别的程度。

「此外,我们可以把这个当作实时脑机接口的基础。在当前的技术条件下,Elon Musk 那样的侵入式接口存在手术性质复杂和快速退化的问题——基本上几个月内就失效了。我们希望可以最终设计出更实用也不需要植入的神经接口。」研究者补充道。

这一次,脑机接口可以实时读取人类脑中画面了?

人工智能 机器学习 技术
上一篇:想看女神喜不喜欢你,用AI机器扫扫脸就知道 下一篇:企业在机器学习中容易犯的五个错误
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

AI如何改变人类社会的各种业务模式?

在过去的20年中,一些愤世嫉俗的人一直担心,人工智能(AI)的发展会破坏企业结构,导致大量失业和财富不平等加剧。下一个十年将是AI的十年。我们期望看到什么变化?答案是基本流程的转变和减少。

CDA数据分析师 ·  7h前
新冠疫情动态:十大创新,助力对抗COVID-19

从感染快速检测到3D打印解决方案,全球各地的科技企业正携手奋进,希望找到足以战胜新冠病毒大流行的突破性方法。目前有哪些创新成果值得关注?本文将带大家一探究竟。

佚名 ·  9h前
全球首个翻译引擎进化归来 “细节狂魔”搞定方言

最近,一款在线机器翻译软件在日本大火。这款翻译软件名叫DeepL,大火的原因正是因为它工作太负责了,翻译得太过准确,在日本引起了热议。

刘俊寰 ·  12h前
应用程序管理中的AI/ML用例

基于人工智能的操作 (AIOps) 是人工智能和传统 AM/IM 操作的融合。与所有其他领域一样,AI 将对运营管理产生重大影响。

佚名 ·  13h前
学不动了?麻省理工 CS 和 EE 网课开放了

疫情之下,麻省理工学院校长在 3 月上旬曾发通知,其中提到把本剩余课程全部转移到网上。

佚名 ·  16h前
科学家研发出“读心术”,直接将脑电波翻译成文本,错误率低至3%

美国加州大学旧金山分校的科学家,已经训练出一种算法,可以直接将受试者的脑电波实时翻译成句子,错误率仅为 3% 。

张路 ·  17h前
5G风头正盛 人工智能要被“冷落”了?

2018年,5G的热度开始迅速提升。当年开始,我国展开了5G基站建设,并在全国十多个城市开始进行5G测试和试运营。到了2019年,随着各国纷纷宣布开启5G商用,5G的热度再次攀升,成为了通信、科技领域当之无愧的“热点王”。相比之下,人工智能似乎都要稍逊一筹。

佚名 ·  1天前
破解机器学习的误区——常见机器学习神话究竟从何而来?

Forrester Research最近发布了一份名为“ 粉碎机器学习的七个神话”的报告。在其中,作者警告说:“不幸的是,一些对机器学习项目做出重要决策的企业领导者,普遍存在机器学习的误解。”

CDA数据分析师 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载