处理移动端传感器时序数据的深度学习框架:DeepSense

作者: 佚名 2017-08-28 15:00:02

DeepSense 是一种在端设备上运行的深度学习框架,它可以在本地获取需要处理的传感器数据,并且在不上传到云端的情况下对这些数据应用深度学习模型,如卷积神经网络或门控循环神经网络等。

DeepSense 是一种在移动设备上运行的深度学习框架,可以根据来自移动传感器(例如,运动传感器)的数据进行回归和分类任务。分类任务的一个例子是异构人体活动识别(HHAR),即基于运动传感器测量数据来检测某人可能在进行哪些活动(步行,骑车,站立等等)。另一个例子是生物特征运动分析,即从步态识别出用户。回归任务的一个例子是利用加速度测量数据来跟踪汽车的位置并推断汽车以后的位置。

与***进的框架相比,DeepSense 特别提供了一个估计量(estimator),该估计量的跟踪误差远小于汽车跟踪问题的误差,并且明显优于 HHAR 和用户识别任务方面的***进的算法。

尽管我们一般将多数移动应用程序转移到远程云处理,但是转移过程对时间延迟要求很高,而且高传感器采样频率(如加速器,陀螺仪)导致数据传输难以支撑,因此我们更希望在本地设备上执行大型传感器任务。因此,我们通过在两种不同类型的智能设备上针对所有三项任务的适度能耗和低开销进行测试,展现了在移动设备上实现和部署 DeepSense 的可行性。

对于许多潜在的应用程序来说,本地处理也是保护隐私的一个重要组成部分。所以现在很多研究者对于这种端设备上的深度学习很感兴趣。本文作者深入了解了 DeepSense 的工作原理,并重点给我们介绍该框架的核心网络设计,其余的评估细节等我们应该很容易从论文中找到。

处理单传感器数据

我们先考虑单个传感器(最终我们希望构建应用程序,将多个传感器的数据组合起来)。单传感器可以提供多维测量,例如运动传感器,它会沿着 x、y 和 z 轴报告运动。我们每隔一段时间(即时间序列)收集这三个维度中的传感器读数,我们可以用如下形式表示:

处理移动端传感器时序数据的深度学习框架:DeepSense

我们要在宽度为τ的非重叠窗口中处理数据。将时间序列样本中的数据点数除以τ可以得到总的窗口数。例如,如果我们有 5 秒的运动传感器数据,并打算将它们划分为持续 0.25 秒的窗口,那么我们将得到 20 个窗口。

处理移动端传感器时序数据的深度学习框架:DeepSense

在频率维度上对时间序列数据中寻找模式比在时间维度上更好,所以下一步是将 T 窗口中的每一个小窗口通过傅立叶变换传递给 f 频率分量(frequency components),每个频率分量具有大小和相位。每个窗口得到一个 d x 2f 阶的矩阵。

处理移动端传感器时序数据的深度学习框架:DeepSense

我们有了这些 T,就可以将所有数据打包到一个 d x 2f x T 的 3 阶张量。

处理移动端传感器时序数据的深度学习框架:DeepSense

将所有的信息都很好地封装在单个张量中这一点是很方便实现的,但实际上我们将在 t 维中逐层处理(一次一个窗口)。每个 d x 2f 窗口切片通过卷积神经网络组件包括三个阶段,如下图所示:

处理移动端传感器时序数据的深度学习框架:DeepSense

首先,我们使用二维卷积滤波器捕捉局部频率域各维度之间的交互。然后输出通过一维卷积滤波器层来捕获高级关系。***一个滤波器层的输出被展平以产生传感器特征向量。

整合多传感器数据

按照上述应用程序使用每 K 个传感器的流程。我们现在有了 K 个传感器特征向量,我们可以把它打包成一个具有 K 行的矩阵。

处理移动端传感器时序数据的深度学习框架:DeepSense

然后传感器特征矩阵通过与我们刚刚看到结构相同的第二个卷积神经网络组件传送。也就是说,二维卷积滤波层后面是两个一维向量层。***,我们将***一个滤波器的输出压平为整合后的传感器特征向量。窗口宽度τ附加在在该矢量的末端。

对于每个卷积层,DeepSenses 学习 64 个滤波器,并使用 ReLU 作为激活函数。另外,在每层施加批量归一化以减少内部协变量(covariate)的变化。

现在一个时间窗口有组合的传感器特征向量。并且我们需要对所有 T 窗口重复上述过程。

所以现在我们有 T 个组合的传感器特征向量,每个都学习窗口内的相互作用。当然,跨时间窗口学习窗口之间的关系也很重要。为了做到这一点,T 特征向量被馈送到 RNN 中。关于这一点,我想我们已经准备好了一张示例图来说明问题。

处理移动端传感器时序数据的深度学习框架:DeepSense

作者在 RNN 层中采用了门控循环单元(GRU)而不是 LSTM。

GRU 在各种任务中表现出与 LSTM 相似的性能,同时具有更简单的结构,这降低了移动应用程序的网络复杂性。

DeepSense 使用两层的堆叠式 GRU 结构。当有新的时间窗口时,此结构可以逐增地(incrementally)运行,从而更快地处理流式数据。

将其全部数据输出到输出层

循环层的输出是一系列 T 向量, 每个时间窗口一个 T 向量。

对于回归类任务(例如,预测汽车位置),输出层是所有向量之上的全连接层,这些全连接层共享用于学习的权重和偏置项,从而学习

对于分类任务,将单个矢量组成一个固定长度的单矢量以便进一步处理。我们可以使用类似注意力网络学习的加权平均值一样的技巧,但是在本文中,通过取时间的平均值(累加向量并除以 T)可以获得优异的结果。最终特征向量被传送到 softmax 层以生成最终类别预测分数。

自定义目前的应用程序

遵从以下步骤将 DeepSense 打磨成适合特定的移动测绘和计算任务的系统:

  • 确定传感器的输入个数 k,将输入预处理到一组 d x 2f x T 张量中。
  • 确定任务类型并选择合适的输出层。
  • 可选择自定义成本函数。回归任务的默认成本函数是均方误差,分类任务默认的成本函数是交叉熵误差。

对于评估中的活动识别(HHAR)和用户识别任务,使用默认成本函数。对于汽车位置跟踪任务,使用负对数似然函数(详见 4.2 节)。

主要成果

以下是 DeepSense 相对于传感器融合和 eNav 算法在汽车跟踪任务上的准确度。地图辅助准确度栏显示了位置被映射到地图最近道路段时得到的准确度。

处理移动端传感器时序数据的深度学习框架:DeepSense

处理移动端传感器时序数据的深度学习框架:DeepSense

DeepSense 在 HHAR 任务上优于其它方法 10%。

处理移动端传感器时序数据的深度学习框架:DeepSense

在用户识别任务上优于其它方法 20%。

处理移动端传感器时序数据的深度学习框架:DeepSense

我们通过三个具有代表性的移动端测量任务评估了 DeepSense,DeepSense 的性能远远高于现有***技术的基准,同时仍然通过在移动和嵌入式平台上适度的能耗和低延迟的表现证明其移动端部署的可行性。

评估任务主要集中在运动传感器上,但该方法还可以应用于许多其他类型的传感器,包括麦克风、路由器、气压计和光传感器等。

深度学习 DeepSense 传感器
上一篇:人工智能行业薪酬曝光,是时候转行了 下一篇:亚马逊AI研发另辟蹊径 欲借此引领服装潮流
评论
取消
暂无评论,快去成为第一个评论的人吧

更多资讯推荐

12个场景应用,百余种算法,AI是如何攻占经济学的?

在虚拟世界中模拟现实经济状况,想法设计更好的制度只是AI和经济学结合方式之一。其实深度强化学习在面临风险参数和不确定性不断增加的现实经济问题时,也可以提供更好的性能和更高的精度。

蒋宝尚 ·  3天前
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点

本文筛选并简单介绍了一些最常见算法类别,还为每一个类别列出了一些实际的算法并简单介绍了它们的优缺点。

佚名 ·  2020-05-21 14:50:37
用TFserving部署深度学习模型

本文介绍了TFserving部署线上推理服务,从模型的转换,部署启动和调用推理,欢迎交流,希望对你有帮助。

佚名 ·  2020-05-21 14:05:17
520开发者的情人节 飞桨全平台35项升级大礼“示AI”

5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的“WAVE SUMMIT 2020”深度学习开发者峰会以线上形式召开。本届峰会,飞桨公布最新全景图,带来多达35项全新发布和重磅升级,不仅进一步升级核心框架、完善从开发训练到部署的全流程工业级极致体验、深化企业端服务,更着眼未来,引领布局前沿技术,首发量子机器学习开发工具“量桨”,以及蓄力AI人才培养和开发者生态,发布青少年AI科普教育“晨曦计划”、“星辰计划”开发者探索基金等。

佚名 ·  2020-05-20 14:07:06
百度CTO王海峰:飞桨深度学习平台是新基建的重要一环

5月20日,由深度学习技术及应用国家工程实验室与百度联合主办的“Wave Summit 2020”深度学习开发者峰会在线上召开。百度CTO王海峰在致辞中表示,时代契机为飞桨的发展提供了最好的机遇,作为中国首个开源开放、功能完备的产业级深度学习平台,飞桨将与产业紧密融合,与开发者并肩前行。

佚名 ·  2020-05-20 11:32:27
PyTorch官方教程大更新:增加标签索引,更加新手友好

PyTorch官方教程,现已大幅更新,不必再面对一整页教学文章茫然无措,可以想学哪里就精准点哪里了。

鱼羊 ·  2020-05-18 09:44:08
机器学习:使用批归一化有哪些缺点?

批归一化(Batch Normalization)是深度学习领域的重大突破之一,也是近年来研究人员讨论的热门话题之一。批归一化是一种被广泛采用的技术,能够使训练更快、更稳定,并已成为深度学习领域最具影响力的方法之一。然而,它仍然存在一些要注意的问题。

不靠谱的猫 ·  2020-05-18 08:42:13
深度度量学习的这十三年,难道是错付了吗?

近日,Facebook AI 和 Cornell Tech 的研究者在论文预印本平台 arXiv 上公布了最新研究论文,声称这十三年来深度度量学习领域的研究进展「实际上并不存在」。

机器之心 ·  2020-05-17 15:57:28
Copyright©2005-2020 51CTO.COM 版权所有 未经许可 请勿转载