MIT 提出Network Dissection框架,全自动窥探神经网络训练的黑箱

作者: 李亚洲 2017-07-03 10:55:48

 MIT的新技术帮助阐释了在可视化数据上训练的神经网络的内部机制。

神经网络通过分析大型训练数据集学习如何完成计算任务,它对如今表现优异的人工智能系统有巨大贡献,例如语音识别系统、自动翻译器和自动驾驶汽车。但神经网络是个黑箱,一旦被训练,即使设计者本人也不了解其运作机制:即它们处理了什么数据、如何处理数据。

两年前,来自 MIT CSAIL 实验室的计算机视觉研究团队描述了一种窥视神经网络训练黑箱的方法,从而得以识别视觉场景。该方法提供了一些有趣的洞见,但需要通过亚马逊的 Mechanical Turk 众包服务把数据发送给人类审核员审核。

在今年的 CVPR 大会上,CSAIL 研究员对上述系统进行了升级,将会呈现一种完全自动化的版本。之前的论文给出了对一种神经网络(在一种任务上)的分析,新论文将会给出对四种神经网络(超过 20 种任务)的分析,包括识别场景与物体、为灰度图像上色、解谜等任务。一些新的网络太大,所以使用旧方法分析网络成本太高。

研究人员也在网络上进行了几组实验,不仅揭示了多种计算机视觉、计算摄影算法(computational-photography algorithm)的特性,也为人类大脑的组织方式提供了一些证据。

神经网络之名,来自于对人类神经系统的模拟,有大量相当简单,但密集连接的信息处理节点。和神经元类似,神经网络的节点从临近节点收取信息信号,然后激活释放自己的信号,或者不反应。和神经元一样,节点激活反应的优势是能变化。

在两篇论文中,MIT 研究员修改神经网络,并通过训练完成计算机视觉任务,以便于揭露每个节点针对不同输入图像的反应机制。然后,他们选择 10 张最能激发每个节点的输入图像。

在之前的论文中,研究人员将这些图像发送给 Mechanical Turk 雇佣的工作人员,让他们识别这些图像的共同之处。而在新的论文中,研究人员使用计算机系统完成这一任务。

MIT 研究生 David Bau 说,「我们编目了 1100 多种视觉概念,比如绿色、土质纹理、木材、人脸、自行车轮、雪山等。我们利用他人开发的多个数据集,把它们与标注了密集视觉概念的数据集融合,得到了许多、许多的标签,我们知道哪个像素对应此标签。」

该论文的其他作者包括共同***作者 Bolei Zhou、MIT 电子工程与计算机科学系教授 Antonio Torralba、CSAIL ***研究科学家 Aude Oliva、Torralba 的博士学生 Aditya Khosla,他现在是医学计算公司 PathAI 的 CTO。

研究人员也知道哪张图片的哪个像素对应给定网络节点的***回应。如今的神经网络是被组织进层内的,数据馈送给***层,然后经过处理传递给下一层,以此类推。有了可视化数据,输入图像打碎为小块,每一块馈送给单独的输入节点。

在他们的一个网络中,来自给层节点的每个回应,研究人员都能追踪到引发模式,从而识别对应的特定图像像素。因为他们的系统能够频繁识别对应确切像素群的标签,因此能非常详细的描述节点行为的特征。

在数据集中,研究人员分层组织了这些视觉概念。每个级别都从***层的概念开始,比如颜色、纹理,然后是材料、组成部分、物体、场景。通常来讲,神经网络的低层能够对应简单的视觉特性,比如颜色和纹理,高层能够激发对更复杂特性的回应。

但分层也使得研究员能够量化训练神经网络完成特定任务时的重点之处。例如,训练一个神经网络为黑白图像上色,重点是大量识别纹理的节点。再比如,训练一个网络追踪视频画面中的物体,相比于训练进行场景识别的网络,它要更加注重画面识别的节点。在这种情况下,很多节点其实都专注于物体识别。

研究人员的实验也能阐释神经科学方面的难题。关于在受试人类大脑中植入电极从而控制神经失调的研究表明,大脑中的单个神经元激发回应特定的视觉刺激。这一假设原被称为祖母神经元假设(grandmother-neuron hypothesis),更熟悉的名字是神经科学家最近提出的 Jennifer-Aniston 神经元假设。他们在发现多个神经病人的神经元倾向于只回应特定好莱坞明星的描述后,提出了该假设。

许多神经科学家对此解释有所争议。他们认为神经元集群,而非单个神经元,控制着大脑中的感知识别。因此,Jennifer Aniston 神经元只是一堆神经元一起激发回应 Jennifer Aniston 的图像。而且也可能是许多神经元集群共同回应该刺激,只不过没被测试到而已。

因为 MIT 研究员的分析技术是完全自动化的,他们能够测试在训练神经网络识别视觉场景的过程中是否发生了类似的事。除了识别被调整为特定视觉概念的单个网络节点,他们也随机选择了结合节点。然而,节点的结合选择出的视觉概念要比单个节点少很多,大约为 80%。

Bau 说,「在我看来,这表明神经网络实际在尝试近似获取一个祖母神经元。他们并不是想把祖母神经元的概念搞的到处都是,而是想把它分配给一个神经元。这是一个有趣的暗示,大部分人不相信这个架构如此简单。」

论文: Network Dissection: Quantifying Interpretability of Deep Visual Representations

论文链接:https://netdissect.csail.mit.edu/final-network-dissection.pdf

我们提出了一种名为 Network Dissection 的通用框架,能够通过评估单个隐藏单元与一系列语义概念间的对应关系,来量化 CNN 隐藏表征的可解释性。给出一个 CNN 模型,我们提出的该方法利用大量视觉概念的数据集来评分每个中间卷积层隐藏单元的语义。这些带有语义的单元被赋予了大量标签,从物体、组成部分、场景到纹理、材料和颜色。我们使用已提出的方法测试了这一假设:单元的可阐释性等同于其随机线性结合;接着当被训练解决不同的监督和自监督训练任务时,我们应用我们的方法对比了不同网络的潜在表征。我们进一步分析了训练迭代的影响,对比了使用不同初始化进行训练的网络,检查了网络深度和宽度的影响,并测量了 dropout 和批归一化在深度视觉表征的可阐释性上产生的影响。我们证明了已提出的方法可以揭示 CNN 模型和训练方法(超越了对其判别力的测量)的特性。

神经网络 深度学习
上一篇:为什么深度学习没有局部最小值? 下一篇:面向图像分析应用的海量样本过滤方案
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

百度CTO王海峰CNCC2019演讲:深度学习平台支撑产业智能化

百度CTO王海峰在会上发表题为《深度学习平台支撑产业智能化》的演讲,分享了百度关于深度学习技术推动人工智能发展及产业化应用的思考,并深度解读百度飞桨深度学习平台的优势,以及与百度智能云结合助力产业智能化的成果。

佚名 ·  1天前
深度学习/计算机视觉常见的8个错误总结及避坑指南

人类并不是完美的,我们经常在编写软件的时候犯错误。有时这些错误很容易找到:你的代码根本不工作,你的应用程序会崩溃。但有些 bug 是隐藏的,很难发现,这使它们更加危险。

skura ·  3天前
2019年深度学习自然语言处理十大发展趋势 精选

自然语言处理在深度学习浪潮下取得了巨大的发展,FloydHub 博客上Cathal Horan介绍了自然语言处理的10大发展趋势,是了解NLP发展的非常好的文章。

HU数据派 ·  4天前
图灵奖得主Yoshua Bengio:深度学习当务之急,是理解因果关系

深度学习擅长在大量数据中发现模式,但无法解释它们之间的联系,而图灵奖获得者Yoshua Bengio想要改变这一点。

佚名 ·  2019-10-15 05:15:00
18个挑战项目带你快速入门深度学习

AlphaGo 大战李世?h之后,深度学习技术便在国内变得异常火。吸引了大批的技术人员争相学习,那么到底如何才能更快速的入门深度学习呢?下面给大家介绍的 18 个挑战项目,通过实践动手带你快速入门深度学习!

实验楼 ·  2019-10-10 14:48:19
盘点 | 8个你可能不知道的深度学习应用案例

深度学习与传统机器学习系统的不同之处在于,它能够在分析大型数据集时进行自我学习和改进,因此能应用在许多不同的领域。

天极网 ·  2019-10-10 14:15:18
2019年较热门的5大深度学习课程

今天,我们将和大家盘点一下,当下较流行的深度学习资源/课程,可以帮助你们提升深度学习技能。

猿哥 ·  2019-09-26 05:16:24
DeepMind一次性开源3个新框架!深度强化学习应用落地即将迎来春天?

深度强化学习(Deep Reinforcement Learning,DRL)一直是近年来人工智能的一些重大突破的核心。然而,尽管 DRL 有了很大的进步,但由于缺乏工具和库,DRL 方法在主流解决方案中仍然难以应用。

杨鲤萍 ·  2019-09-20 09:38:18
Copyright©2005-2019 51CTO.COM 版权所有 未经许可 请勿转载