MIT提出Liquid机器学习系统,可像液体一样适应动态变化

作者: 机器之心 2021-02-21 15:47:47

 在自动驾驶等许多重要应用中,数据都是实时动态的,并且时不时还会出现一些意外情况。为了高效地应对这一问题,MIT 的研究者受生物神经元启发而设计了一种新型神经网络,并且他们还通过理论证明和实验验证体现了该神经网络的有效性。相关代码也已公布。

麻省理工学院(MIT)的研究者开发出了一种新型的神经网络,其不仅能在训练阶段学习,而且还能持续不断地适应。他们将这种灵活的算法命名为「Liquid」网络,因为其能像「液体」一样改变其底层的数学方程以持续适应新的输入数据。这一进展能助力基于动态变化数据的决策任务,比如医疗诊断和自动驾驶中涉及到的任务。

论文地址:https://arxiv.org/pdf/2006.04439.pdf

代码地址:https://github.com/raminmh/liquid_time_constant_networks

「这条路能迈向未来的机器人控制、自然语言处理、视频处理——任何形式的时间序列数据处理。」该研究的主要作者 Ramin Hasani 说,「它的潜力确实很大。」

该研究论文是 AAAI 2021 会议入选论文之一。

Hasani 说,为了理解世界,时间序列数据不仅无处不在,而且至关重要,不可或缺。「真实世界都与序列有关。我们的感知方式也是如此——你感知的不是图像,而是图像的序列。」他说,「因此,时间序列数据实际上创造了我们的现实。」

他指出,视频处理、金融数据和医疗诊断应用都涉及到时间序列,而且这些应用对我们的社会至关重要。这些不断变化的数据流的变化情况难以预测。但是,如果能够实时地分析这些数据,并将它们用于预测未来的行为,那么就能极大促进自动驾驶等技术的发展。

Hasani 等研究者设计了一种能适应实时世界系统的变化的神经网络。神经网络的设计灵感来自生物大脑,而 Hasani 说他们的这种特定神经网络的设计灵感直接来自秀丽隐杆线虫(C. elegans)。他说:「它的神经系统仅有 302 个神经元,但却可以产生超出预期的复杂动态。」

通过仔细观察秀丽隐杆线虫的神经元的激活方式以及彼此通过电脉冲通信的方式,Hasani 编码出了他的神经网络。在其用于构建神经网络的方程式中,参数可基于一组嵌套的微分方程的结果而随时间变化。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

算法 1:由聚合的常微分方程(ODE)求解算法实现的 Liquid 时间常量(LTC)循环神经网络,其中 θ 是参数空间,f 可以是任意激活函数。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

算法 2:通过随时间反向传播(BPTT)训练 LTC。

这种灵活性是其中的关键。在训练阶段之后,大多数神经网络的行为都会固定下来,这意味着它们难以根据输入数据流的变化而进行调整。Hasani 说他的Liquid 网络的流动性使其能更弹性地应对意料之外的数据或噪声数据,比如滂沱的暴雨遮蔽了自动驾驶汽车的摄像机视野。「也就是说,它更加鲁棒。」

Hasani 并补充道网络灵活性还有另一大优势:「它也更能被解释。」

Hasani 说他的Liquid 网络规避了其它神经网络常见的难解性。「只是改变神经元的表征方式,你就可以探索以其它方式无法探索的某种程度的复杂性。」Hasani 采用的改变方式是使用微分方程。得益于这种数量少但却具有高度表征能力的神经元,可以更轻松地窥探网络决策过程的「黑箱」并诊断网络为何具有某种特定的特征。

Hasani 说:「这个模型本身具有丰富的表现力。」这能够帮助工程师理解和提升 Liquid 网络的性能。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

图 1:通过轨迹长度衡量表现力,静态深度网络的轨迹隐含空间会随着输入穿过隐含层而变得更加复杂。

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

图 2:通过轨迹长度衡量表现力,使用不同激活函数的 LTC。

Hasani 的网络在一系列测试中都取得了出色表现。在从大气化学到交通模式分析等多种任务中,新提出的方法在预测未来值方面的表现优于其它当前最佳时间序列算法几个百分点。此外,由于该网络尺寸小,因此在测试的计算成本也低得多。「每个人都在谈扩大他们的网络」,Hasani 说,「我们想的是缩小,以便获得更少但更丰富的节点。」

MIT提出Liquid机器学习系统,可像液体一样适应动态变化

时间序列预测结果。

Hasani 计划继续改进该系统,并探索其行业应用。「受大自然启发,我们已经有了一个得到证明的更有表现力的神经网络。但这个过程才刚刚开始。」他说,「显而易见的问题是:我们如何扩展它?我们认为这类网络将成为未来智能系统的关键组件。」

机器学习 人工智能 计算机
上一篇:规划智慧城市时,别忘了无障碍通行 下一篇:AutoML大提速,谷歌开源自动化寻找最优ML模型新平台
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

德媒:欧盟拟立法限制滥用人工智能

据德国《法兰克福汇报》网站4月13日报道,人工智能的胜利前进已不可阻挡。新冠疫情尤其让人们关注到这种拥有自我学习能力的系统对医疗体系组织工作的价值。

参考消息 ·  23h前
国内首个!北京拟推进自动驾驶商业化,年内将实现真无人驾驶

乘自动驾驶出租车要付费,无人配送车街上跑,路测拿掉安全员,无人驾驶车上高速……这些即将在北京实现。

南方都市报 ·  1天前
前沿洞察丨无人机送货不迷路的原因竟在这里!

本期前沿洞察为大家带来这些技术:用微观交叉定位,让无人机送货不再找路难;能暴露行动轨迹的智能袜子;基于两束交叉光触发的化学反应实现微米级高精度3D打印......一起来看看吧!

望潮科技 ·  1天前
2021年AI智能摄像机带来的新市场

大流行除了给全球经济带来巨大影响之外,也加速了越来越多的先进技术走向成熟应用,如人工智能(AI)和机器学习(ML),技术时代的到来往往伴随着人类的迫切需求。

蒙光伟 ·  1天前
OpenAI CEO Sam Altman:AI革命即将到来,我们需要新的系统

我们正处于这场技术变革的开端,我们拥有创造未来的宝贵机会。而这不是简单地解决目前的社会和政治问题,它必须为完全不同的社会而设计。

Sam Altman ·  1天前
谈谈基于深度学习的目标检测网络为什么会误检,以及如何优化目标检测的误检问题

在训练人脸检测网络时,一般都会做数据增强,为图像模拟不同姿态、不同光照等复杂情况,这就有可能产生过亮的人脸图像,“过亮”的人脸看起来就像发光的灯泡一样。

刘冲 ·  1天前
值得思考:197亿美金,微软2021年的AI转型之路

4月12日,微软宣布将以每股56美元的价格收购语音识别巨头Nuance,出价达到了197亿美元。

东方林语 ·  1天前
人工智能优先战略将从哪里开始?

人工智能可以为企业带来竞争优势,并释放难以获得的巨大商机。因此,人们需要了解制定有效的人工智能优先策略的6个步骤。

李睿 ·  1天前
Copyright©2005-2021 51CTO.COM 版权所有 未经许可 请勿转载