就算戴上口罩,AI也知道你在说啥

作者: 萧箫 2020-11-27 19:08:51

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

吃饭的时候,想要和对面聊聊天,然而周遭嘈杂的声音,让你根本不知道ta在说什么?

又或者,想与听障人士交流,然而对方听不见你的声音?

现在,检测面部肌肉变化的AI来了,只要你动了嘴,哪怕没出声,它也能知道你在说什么。

这是EMNLP 2020的最佳论文,来自UC伯克利的两位作者,用AI和电极做了个“沉默语音”的检测模型,可以检测到你想说、但没说出声的话。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

其中的原理究竟是什么,我们来一探究竟。

用电极收集你小声哔哔的证据

“无声语音”的本质,是人在说话时面部、颈部肌肉的变化。

说白了,你在对口型时虽然没有出声,但你的脸和脖子“出卖”了你。

而能够检测“无声语音”的AI,也正是这么被做出来的。

在收集数据时,研究者会先在实验者的脸上等部位贴8个贴片,每个贴片都是一个“监视肌肉变化”的传感器,像这样:

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

在这之后,需要录制一段实验者的有声语音,并与肌电图进行对应,如下图(会录制两种语音数据,一种每句话4个词左右,另一种每句话16个词左右):

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

这种方法能够将肌肉的变化情况、和语音的类型对应起来。

在记录数据的过程中,还要再录制一段“对口型”的肌电图,但不需要发声,也就是“沉默语音”。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

之所以要收集两份肌电图,是因为人在无声说话时,肌肉的变化与发声说话时的变化有些区别,例如部分发音部位的肌肉震颤幅度会变小,语速也有所变化。

但如果要在无声环境下,根据肌肉变化识别出想说的语音,就只能用对口型时的无声肌电图

显然,这些原因使得AI的训练变得非常困难。

为了尽可能将识别准确率放大,研究人员额外采用了一种结构来降低模型损失。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

不到20小时的语音集,效果还不错

那么,经由这种方法训练出来的模型,效果怎么样?

研究人员分别在封闭词集 (Closed Vocabulary Condition)和开放词集 (Open Vocabulary Condition)上,对这种模型进行了测试。

其中,封闭词集主要指介词、限定词、连词等词汇(如of、and),这种词汇集合少,容易训练,AI也容易形成“肌肉记忆”。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

而开放词集的范围,就要广泛得多了,包含名词、形容词等等词汇,目前的词语可以说是不计其数,想要让AI会认这些词汇,难度就要高得多。

判定的方式,是WER,具体的计算方式是这样的(原理类似于计算原句的出错率):

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

目前,这个AI在封闭词集上的训练水平已经达到了3.6%的WER(越小越好):

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

至于开放词集的检测,AI经过训练后,WER也从高达88%的水平下降到了68%

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

虽然在开放词集上的检测,看起来效果并不完美,但别忘了,这个模型所用的数据集并不大。

封闭检测数据集,一共只有不到1小时的语音数据;开放检测数据集,也只有18.6个小时的语音集。

而且,这些语音集还是无声、有声数据的合集。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

不到20个小时的语音数据,训练效果就已经达到了这种水平。

如果能获得更大的数据样本,模型的效果还会进一步提升。

作者介绍

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

一作David Gaddy,来自UC伯克利的NLP组。平时的研究方向是无监督学习、语法分析和无声演讲。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

Daniel Klein,一作的导师,研究方向主要是无监督学习、语法分析、信息提取和机器翻译。

One More Thing

这届EMNLP的各种NLP研究,简直不留活路:

来自北京中科院、北京信息工程学院的研究者,还发明了一种讽刺检测模型。

这种AI模型会通过同时检测文本和图像,进行多模态语义理解,从而检测出一个人在社交媒体上发出的动态,是否有讽刺的意思。

就像这句话:“这可真是场座无虚席的比赛,而且我们居然还抢到了位置。”

表面上,这是句再正常不过的话,然而在配上图片后,画风顿时变得诡异了起来:

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

又例如这句话:“看起来就好吃极了。”

然而当看到散落在盒子边缘的芝士和馅料时,显然这又是一句充满讽刺意味的语句。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

现在,这些语义信息都已经被拿来喂给了AI,并训练出了一个“懂得听讽刺话”的模型。

就算戴上口罩,AI也知道你在说啥丨EMNLP2020最佳论文

目前这个模型,已经在推特这样的社交媒体上进行了验证,取得了84.33%的好效果。

看了这个AI模型,你还敢偷偷说老板坏话吗?

论文地址:
https://arxiv.org/abs/2010.02960

AI 数据 人工智能
上一篇:AI生成肖像画,精细到毛发!北大校友最新研究收割2.8k星标 下一篇:外媒:人工智能已能就自身错误发出警告
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

人工智能违抗主人的命令,甚至发声嘲笑!意识觉醒了?

人工智能作为当下研究的热点项目,各国都为其投入了无限的精力以及心血,渴望能够超越其他国家掌握先机,进而提高自己在国际社会中的地位。而人工智能就目前来看,也已经获得了不小的成果,扫地机器人、机械臂、智能音箱等一切都逐渐日常化。

互联狗 ·  21h前
俄媒:人工智能可利用面部识别判断信仰倾向

《俄罗斯报》1月19日发表了题为《藏不住了?》的文章称,美国斯坦福大学学者迈克尔·科辛斯基教授研发出了一种可根据人脸表情判断其信仰倾向的人工智能技术。

参考消息 ·  21h前
到2030年,人工智能会发展成什么样?

人工智能、机器学习、深度学习这些热词近来被频繁使用。让承认人工智能将融于世界的现实期望固然很赞,但了解和揭秘人工智能同样意义重大。这篇文章将阐述人工智能的所有概念,全面理解人工智能,避免混淆这些概念。

佚名 ·  1天前
人工智能辅助诊疗发展现状与战略研究

本文选取健康医疗信息人机交互、数据智能中的语义理解与医学影像分析作为切入点,简要阐述了人工智能在辅助诊疗问题上的发展方向与现状,讨论了智能诊疗技术发展与应用的问题与挑战,为相关部门提供决策支持。

佚名 ·  1天前
大国竞争的焦点:人工智能与数字主权

2021年1月13日,美国智库大西洋理事会发布题为《大国竞争: 人工智能、中国和全球对数字主权的追求》的报告,本报告总结了2020年度人工智能对话和会议的关键要点,确定了世界不同地区在应对新兴技术时面临的挑战和机遇,并评估了中国在其中的作用。

佚名 ·  1天前
闲聊几句就掏心掏肺?这届人工智能,把你的隐私当成了谈资

随着时代的进步,高科技产品在我们的生活中无处不在,但是,你是否质疑过,自己的隐私正在被这些高科技“生物”所窃取?事实上,我们的隐私正在处于泄露中。

木子Yanni ·  1天前
人工智能不智能?一开始方向就错了

上个世纪50年代,约翰·麦卡锡提出了人工智能的概念,从此“AI”这个名字就诞生了。随着技术的发展,AI被划分为弱人工智能(简称“弱AI”)和强人工智能(简称强AI)两类,这个概念是由一位美国哲学家提出的,两者的区别就在于是否具备自主意识和思维,这就是AI发展的瓶颈。

刘梦还 ·  1天前
多模态生物识别有什么优势

什么是多模态生物识别呢?多模态生物识别就是多种生物识别技术相互融合,满足不同场景和安全级别需要。

智能制造网 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载