前沿科技分享:把脑信号译成语音 AI算法让有望让失语人士正常发声

作者: 佚名 2019-05-10 15:50:00

在近期发表在“自然”杂志上的一项研究中,加利福尼亚大学旧金山分校的神经科学家团队介绍了一种神经解码器,可以根据大脑活动合成自然发声的语音。

这项研究由演讲科学家Gopala Anumanchipalli和Chang实验室的生物工程研究生Josh Chartier领导。它正在加利福尼亚大学神经外科教授Edward Chang的实验室中开发。

前沿科技分享:把脑信号译成语音 AI算法让有望让失语人士正常发声

为什么要引入这种神经解码器?

由于中风,创伤性脑损伤或神经退行性疾病(如帕金森病,多发性硬化症和肌萎缩侧索硬化症),让许多人丧失语言能力

目前,跟踪非常小的眼睛或面部肌肉运动的辅助设备使得严重语言障碍的人能够通过逐字逐句地表达他们的想法。然而,用这样的设备生成文本或合成语音通常是耗时,费力且容易出错的。这些设备的另一个限制是它们只允许每分钟产生最多10个字。

这项研究表明,有可能生成一个人的声音的合成版本,可以通过他们的大脑活动来控制。研究人员相信,将来,这种装置可用于使严重言语障碍的人能够进行流畅的沟通。它甚至可以再现人类声音的一些“音乐性”,表达说话者的情感和个性。

“这项研究表明,我们可以根据个人的大脑活动生成完整的口语句子,”Chang说。 “这是一个令人振奋的原理证据,即已经触手可及的技术,我们应该能够构建一种在语言丢失患者中具有临床可行性的设备。”

这个系统如何运作?

这项研究是基于Josh Chartier和Gopala K. Anumanchipalli的另一项研究,该研究展示了我们大脑中的语音中心如何编排嘴唇,下巴,舌头和其他声道组件的运动以产生流畅的语音。

在这项新的研究中,Anumanchipalli和Chartier要求5名患者大声朗读几个句子。这些患者将电极植入他们的大脑中以绘制他们病情发作的来源以准备神经外科手术。同时,研究人员记录了已知涉及语言生成的大脑区域的活动。

研究人员使用志愿者声音的录音来理解产生这些声音所需的声道运动。通过这个详细的声音解剖图谱,科学家们为每个志愿者创造了一个真实的虚拟声道,可以通过他们的大脑活动来控制。

该系统由两个神经网络组成:

  • 解码器,用于将语音期间产生的大脑活动模式转换为虚拟声道的运动。
  • 一种合成器,用于将这些声道运动转换为志愿者声音的合成近似值。

研究人员观察到,与直接从志愿者的大脑活动中解码的合成语音相比,该系统产生的合成语音要好得多。

该系统仍处于早期阶段。 Chartier解释了它的局限性,他说:“我们仍然有办法完全模仿口语。 我们非常擅长合成较慢的语音,如“sh”和“z”,以及保持语音的节奏和语调以及说话者的性别和身份,但是一些更突然的声音,如'b'和'p'得到了 有点模糊。 尽管如此,与目前可用的相比,我们在这里制作的准确度水平将是实时通信的惊人改进。“

AI 算法
上一篇:提升12倍!中国香港浸会大学与MassGrid发布低带宽高效AI训练新算法 下一篇:又一家倒下:为何消费级机器人公司接连失败?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

BAIR最新RL算法超越谷歌Dreamer,性能提升2.8倍

pixel-based RL 算法逆袭,BAIR 提出将对比学习与 RL 相结合的算法,其 sample-efficiency 匹敌 state-based RL。

Aravind Srinivas ·  2020-05-28 13:20:49
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点

本文筛选并简单介绍了一些最常见算法类别,还为每一个类别列出了一些实际的算法并简单介绍了它们的优缺点。

佚名 ·  2020-05-21 14:50:37
谷歌中国工程师提出颠覆性算法模型,Waymo实测可提高预测精准度

“周围的车辆和行人在接下来数秒中会做什么?”要实现安全的自动驾驶,这是一个必须回答的关键问题,这也就是自动驾驶领域中的行为预测问题。

DeepTech深科技 ·  2020-05-21 10:16:41
知乎热议:亚马逊 AI 团队近期大批人员离职?李沐亲自澄清事实!

近日,「如何看待亚马逊 AI 李沐团队大批人员离职?」成为知乎DL话题下的热门问题,获得了1500关注者和67万浏览量。

佚名 ·  2020-05-19 10:45:28
有了K均值聚类,为什么还需要DBSCAN聚类算法?

聚类分析是一种无监督学习法,它将数据点分离成若干个特定的群或组,使得在某种意义上同一组中的数据点具有相似的性质,不同组中的数据点具有不同的性质。

读芯术 ·  2020-05-13 15:57:59
边做边思考,谷歌大脑提出并发RL算法,机械臂抓取速度提高一倍

RL 算法通常假设,在获取观测值、计算动作并执行期间环境状态不发生变化。这一假设在仿真环境中很容易实现,然而在真实机器人控制当中并不成立,很可能导致控制策略运行缓慢甚至失效。

机器之心 ·  2020-05-12 10:43:30
神经网络之父Hinton再审视34年前的奠基性成果,欲在大脑中搜寻AI方法的“存在”

直到现在,几乎你听说过的每一个关于人工智能的进步,仍基于 30 年前的一篇阐述多层神经网络训练方法的论文演变而来。那就是 Geoffrey Hinton 在 1986 年写下的《Learning representations by back-propagation errors》。

黄珊 ·  2020-05-02 10:54:13
生成“猫狗版”特朗普,造假脸工具StarGANv2被玩坏,算法已开源

如果你想用AI把特朗普的脸变成猫,又或者是把自己的脸与漂亮的奥妹结合起来,你会怎么办?也许你会想到两样AI工具。但是Deepfake生成人脸违和感太强,GAN生成假脸又很难深度定制。

晓查 ·  2020-04-28 13:34:53
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载