神经网络内部长啥样?

作者: 佚名 2020-10-30 11:25:15

神经网络就像“炼丹炉”一样,投喂大量数据,或许能获得神奇的效果。

“炼丹”成功后,神经网络也能对没见过的数据进行预测了~

然而,这种情况下,神经网络其实成了“黑匣子”——具有一定的功能,但看不见是怎么起作用的。

如果只做简单的图像分类,其实还好;但如果用在医学方向,对疾病进行预测,那么神经网络下的“判断”就不可轻信。

如果能了解它是怎么工作的,就更好了。

出于这种考虑,来自牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》。

在这篇论文中,她将这些“黑匣子”一个个打开,对神经网络原理进行了详细的解释。

为什么要打开神经网络“黑匣子”?

事实上,神经网络之所以起作用,最直观的原因就是,它由大量非线性函数组成。

这些非线性函数,使得网络可以学习原始数据中各种抽象级特征。

然而,也正是因为神经网络中的这些非线性函数,使得人类往往难以理解,它们是如何起作用的。

这就导致神经网络在疾病预测、信用额度、刑法等方向上“不太受欢迎”。

医生和法律相关的研究者往往更乐意采用可解释模型,例如线性回归、决策树,因为神经网络在疾病预测中的确出过问题:

人们利用神经网络预测肺炎患者的病情发展,其中一项患者特征为是否有哮喘病史。

神经网络经过训练后预测,有哮喘病史的患者死于肺炎的可能性较低。

但其实结果恰好相反,哮喘本身会给肺炎带来雪上加霜的效果。

之所以数据表明哮喘患者较少死于肺炎,往往是因为哮喘能被及早发现,所以患者得肺炎后能被及早治疗。

如果这种神经网络被应用于实践中,将会带来非常危险的结果。

此外,即使是神经网络,也会对男女性别产生刻板印象、产生种族偏见。

例如,调查表明,有些语料库和模型,在预测再犯时,会更“偏爱”男性。

除了错误的预测和种族、性别歧视以外,神经网络还很脆弱。

无论是对图像进行小改动欺骗分类算法、还是用语音识别瞒过NLP模型,神经网络被“爆雷”的情况也不少。

为了让神经网络应用于更多的方向,也为了让我们更好地学习它的原理,作者从两个方向对神经网络进行了解释。

2 种方法解释神经网络

“事后再解释”

第一种方法,称之为基于特征的解释方法,又叫“事后再解释”——因为这种方法,是在神经网络训练好后,才对其输入特征进行解释的。

这种方法针对文本的词(token)、或是针对图像的超像素(super pixels),进行“事后”解释。

目前这种方法应用较为普遍,不容易出现解释偏见,但需要验证解释方法的真实性。

这里的根本原理,是研究外部解释方法给出的解释、与模型本身生成的自然语言解释之间,是否存在相关性,而相关性具体又是什么。

在论文中,作者引入了一种新的验证方法,来判断解释方法的真实性。

让神经网络自己解释

那么,如果能让神经网络一边训练、一边“解释自己”呢?

这是论文提到的第二种方法,即在模型中植入一个生成预测解释的模块,对预测的结果进行解释。

至于神经网络对自己的解释是否正确,还需要人为进行判断。

在这里面,作者同样引入了一种判断方法,对模型自己生成的解释进行判断,从而得出神经网络解释的结果。

对神经网络详细结构、具体解释方法感兴趣的小伙伴,可以戳下方论文地址查看~

神经网络 人工智能 黑匣子
上一篇:8500万个工作岗位将被取代,工人如何保住“饭碗”? 下一篇:百花齐放的自动驾驶,距离真正上路还有多远?
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

就算戴上口罩,AI也知道你在说啥

现在,检测面部肌肉变化的AI来了,只要你动了嘴,哪怕没出声,它也能知道你在说什么。

萧箫 ·  18h前
AI生成肖像画,精细到毛发!北大校友最新研究收割2.8k星标

这款AI工具叫U∧2-Net(U Square Net),最近火到不行!不仅登上了GitHub热榜,收割了2.8k星标,还被顶会ICPR 2020 选中。

贝爽 ·  19h前
AI改进建筑施工安全的十种方式

根据美国国家设备注册局公布的数据,建筑盗窃造成的损失每年往往超过10亿美元。最新型号的设备、工具与用品的被盗可能性最高,追回的几率也最小。

科技行者 ·  19h前
5G和AI:现在和未来的互补技术

围绕人工智能和5G以及它们的变革潜力,科技界有很多热议。这两种技术的有趣之处在于,它们普遍适用于许多行业,并可能改变其中许多技术的运作方式。

佚名 ·  21h前
放飞无人机并非想飞就能飞

自古以来,人们就梦想着能像鸟儿一样翱翔蓝天,无论是童年的纸飞机,还是如今的无人机,放飞的都是人们对天空的热爱。但是无人机放飞并非想飞就飞。这不,第三届进博会期间,上海公安机关便查处了一起多次违规施放无人机、扰乱公共秩序的案件,这也是上海首次出现因违规施放无人机被依法行政拘留的案例。

中国民航网 ·  22h前
AI的偏见:机器就是绝对理性的么?

人工智能已经遍布我们的日常生活。从YouTube的首页推荐到生产药物,它无所不在,它对我们生活的影响超出我们的想象。但人工智能一定公平吗?不,绝对不是。

读芯术 ·  22h前
机器学习的5个成功案例

如今人工智能和机器学习在企业界受到越来越热烈的追捧,企业组织日益利用这些技术更准确地预测客户的偏好,并加强业务运营。

计算机世界 ·  1天前
到2030年,人工智能会发展成什么样?

据麦肯锡全球研究院的研究,截至2030年,人工智能每年将额外创造13万亿美元的价值。其实在今天,人工智能已经在创造收益了,但主要集中在软件领域。然而当到了2030年,在软件行业之外,人工智能也将创造巨大收益,尤其是在零售、旅游、交通、汽车、材料、制造等行业。

读芯术 ·  1天前
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载