前沿科技分享:把脑信号译成语音 AI算法让有望让失语人士正常发声

作者: 佚名 2019-05-10 15:50:00

在近期发表在“自然”杂志上的一项研究中,加利福尼亚大学旧金山分校的神经科学家团队介绍了一种神经解码器,可以根据大脑活动合成自然发声的语音。

这项研究由演讲科学家Gopala Anumanchipalli和Chang实验室的生物工程研究生Josh Chartier领导。它正在加利福尼亚大学神经外科教授Edward Chang的实验室中开发。

前沿科技分享:把脑信号译成语音 AI算法让有望让失语人士正常发声

为什么要引入这种神经解码器?

由于中风,创伤性脑损伤或神经退行性疾病(如帕金森病,多发性硬化症和肌萎缩侧索硬化症),让许多人丧失语言能力

目前,跟踪非常小的眼睛或面部肌肉运动的辅助设备使得严重语言障碍的人能够通过逐字逐句地表达他们的想法。然而,用这样的设备生成文本或合成语音通常是耗时,费力且容易出错的。这些设备的另一个限制是它们只允许每分钟产生最多10个字。

这项研究表明,有可能生成一个人的声音的合成版本,可以通过他们的大脑活动来控制。研究人员相信,将来,这种装置可用于使严重言语障碍的人能够进行流畅的沟通。它甚至可以再现人类声音的一些“音乐性”,表达说话者的情感和个性。

“这项研究表明,我们可以根据个人的大脑活动生成完整的口语句子,”Chang说。 “这是一个令人振奋的原理证据,即已经触手可及的技术,我们应该能够构建一种在语言丢失患者中具有临床可行性的设备。”

这个系统如何运作?

这项研究是基于Josh Chartier和Gopala K. Anumanchipalli的另一项研究,该研究展示了我们大脑中的语音中心如何编排嘴唇,下巴,舌头和其他声道组件的运动以产生流畅的语音。

在这项新的研究中,Anumanchipalli和Chartier要求5名患者大声朗读几个句子。这些患者将电极植入他们的大脑中以绘制他们病情发作的来源以准备神经外科手术。同时,研究人员记录了已知涉及语言生成的大脑区域的活动。

研究人员使用志愿者声音的录音来理解产生这些声音所需的声道运动。通过这个详细的声音解剖图谱,科学家们为每个志愿者创造了一个真实的虚拟声道,可以通过他们的大脑活动来控制。

该系统由两个神经网络组成:

  • 解码器,用于将语音期间产生的大脑活动模式转换为虚拟声道的运动。
  • 一种合成器,用于将这些声道运动转换为志愿者声音的合成近似值。

研究人员观察到,与直接从志愿者的大脑活动中解码的合成语音相比,该系统产生的合成语音要好得多。

该系统仍处于早期阶段。 Chartier解释了它的局限性,他说:“我们仍然有办法完全模仿口语。 我们非常擅长合成较慢的语音,如“sh”和“z”,以及保持语音的节奏和语调以及说话者的性别和身份,但是一些更突然的声音,如'b'和'p'得到了 有点模糊。 尽管如此,与目前可用的相比,我们在这里制作的准确度水平将是实时通信的惊人改进。“

AI 算法
上一篇:提升12倍!中国香港浸会大学与MassGrid发布低带宽高效AI训练新算法 下一篇:又一家倒下:为何消费级机器人公司接连失败?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

中国人开始反算法:不登录、不点赞、不关注、不评论

“算法不讲武德!”越来越多年轻人发觉,生活正在被算法控制。

深燃团队 ·  2021-05-31 09:03:12
8个深度学习中常用的激活函数

当在隐藏层和输出层中实现时,激活函数的选择非常关键。模型的准确性和损失很大程度上依赖于激活函数。此外,必须根据您对模型的期望来选择它们。例如,在二值分类问题中,sigmoid函数是一种最优选择。

deephub ·  2021-05-22 23:08:08
连肌肉颤动都清晰可见!3D人体模型自动生成算法,一作北大图灵班

团队开发了一套神经网络,用来生成具有指定结构的骨骼,并且精准绑定骨骼的蒙皮权重。

子豪 ·  2021-05-17 09:10:25
完善算法技术 规范算法应用(数字时代的文化生活)

算法是人工智能技术与大数据技术的关联节点。在移动互联网上,社交媒介、定位技术、搜索引擎等给用户日常生活提供极大便利的同时,也实时生成和储存着大量相关数据。

佚名 ·  2021-05-14 08:30:53
你的「在看」有人看,清华研究者从微信「看一看」发现了这些规律

该研究还提出了一个预测模型,预测准确率相比其他方法有所提升。目前,该论文已发表在《IEEE Transactions on Knowledge and Data Engineering》(TKDE) 期刊上。

佚名 ·  2021-05-07 09:03:27
比seq2seq模型快90倍!Google推出全新文本编辑模型FELIX

近日,谷歌AI团队新作带来了全新模型FELIX,这是一个快速灵活的文本编辑系统,与seq2seq方法相比,速度提高了90倍。

佚名 ·  2021-05-06 16:06:20
2021年进入AI和ML领域之前需要了解的10件事

自从2012年数据科学被评为21世纪最性感的工作以来,来自不同领域的许多人开始转向数据科学或相关的机器学习角色

deephub ·  2021-04-30 23:43:04
机器学习新算法更好描述量子系统模型

近日,英国布里斯托大学量子工程技术实验室的研究人员在《自然·物理学》杂志上发表一篇新论文,解释了一种通过充当自主代理,使用机器学习对哈密顿模型进行逆向工程的算法。这种新算法对量子系统基本物理原理提供了宝贵见解,有望带来量子计算和传感领域的重大进步,并有可能翻开科学研究的新篇章。

张佳欣 ·  2021-04-30 15:12:07
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载