GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction
GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction
大量的传感器被部署在不同的地理空间位置,以持续和协作地监测周围环境,如空气质量。这些传感器产生多个地理感知时间序列,其读数之间具有空间相关性。地感时间序列的预测具有重要的意义和挑战性,因为它受动态时空相关性和外部因素等复杂因素的影响。在本文中,我们通过使用多级注意力循环神经网络来预测未来几个小时内地球传感器的读数,该网络考虑了多个传感器读数、气象数据和空间数据。更具体地说,我们的模型包括两个主要部分:1)多层次的注意机制来模拟动态的时空依赖性。2)通用融合模块,融合来自不同领域的外部因素。在两种真实世界的数据集上的实验,即空气质量数据和水质量数据,表明我们的方法优于9种基线方法
背景:
一组传感器共同监测一个空间区域的环境,其读数之间的空间相关性。我们称这种传感器的读数为地球感应时间序列。此外,一个传感器在同时监测不同目标条件时,通常会产生多种地感时间序列。然而,地感时间序列的预测具有很大的挑战性,受以下两个复杂因素的影响:
1) Dynamic spatio-temporal correlations
1.1复杂的inter-sensor相关性。图1(c)显示了不同传感器时间序列之间的空间相关性是高度动态的,随时间变化。此外,地感时间序列随位置非线性变化。
1.2动态intra-sensor相关性。首先,地感时间序列通常遵循周期性模式(如图1(c)中的S1),该模式随着时间和地理位置的变化而变化[Zhang等人,2017]。其次,传感器的读数有时会发生巨大的波动,并突然发生变化,迅速降低其之前值的影响。因此,如何选择相关的前期时间间隔进行预测仍然是一个挑战
2) External factors.
传感器的读数也会受到周围环境的影响,如气象(如强风),一天的时间(如高峰时间)和土地使用。
方案:我们提出了一个多级注意网络(GeoMAN)来预测未来几个小时内地球传感器的读数
1.1)Multi-level attention mechanism。具体而言,在第一级,我们提出了一种新的注意机制,包括局部空间注意和全局空间注意,以捕获不同传感器时间序列之间的复杂空间相关性(即传感器间相关性)。在第二个层次中,时间注意被应用于一个时间序列中不同时间间隔之间的动态时间相关性(即传感器内相关性)建模
1.2)External factor fusion module 我们设计了一个通用的融合模块来融合来自不同领域的外部因素。习得的潜在表征被输入到多层次注意网络中,以增强这些外部因素的重要性。
目标:
假设有Ng个传感器,每个传感器产生Nl种时间序列。其中,我们指定一个时间序列作为预测的目标序列,而使用其他类型的序列作为特征
Multi-level Attention Networks
我们采用两个独立的lstm ,一个用于编码输入序列,即历史地感时间序列,另一个用于预测输出序列ˆyi。我们的模型GeoMAN由以下两个主要部分组成:1)多层次注意机制。它由具有两种空间注意机制的编码器和具有时间注意机制的解码器组成。在编码器中,我们发展了两种不同的注意机制,即局部空间注意和全局空间注意,它可以通过编码器之前的隐藏状态、传感器之前的值以及空间信息(即传感器网络)来捕捉每个时隙复杂的传感器之间的相关性。在解码器中,我们使用时间注意自适应选择相关的前一时间间隔进行预测。2)外部因素融合。该模块用于处理外部因素的影响,其输出作为其输入的一部分提供给解码器。
Spatial Attention
我们首先介绍局部空间注意机制。对于某一传感器,其局部时间序列之间存在复杂的相关性。例如,一个空气质量监测站报告不同的时间序列,如PM2.5(特殊物质),NO和SO2。实际上,PM2.5的浓度通常受到其他时间序列的影响,包括其他空气污染物和当地的天气条件[Wang et al., 2005]。为了解决这个问题,给定第i个传感器的第k个局部特征向量。我们采用一种注意机制,自适应捕捉目标序列和每个局部特征之间的动态相关性
这个分数在语义上代表了每个局部贡献特征的重要性。一旦得到注意权值,计算时间步长t时局部空间注意的输出向量
Global Spatial Attention
对于一个传感器所报告的目标序列,其他传感器的目标序列会对其产生直接影响。然而,影响度是高度动态的,随着时间的推移而变化。由于可能存在许多不相关的序列,直接使用各种时间序列作为编码器输入来捕捉不同传感器之间的相关性,会导致很高的计算成本,降低性能。注意,这种影响权重受其他传感器的局部条件影响。例如,当风从遥远的地方吹来时,某个地区的空气质量受到这些地方的影响比过去更大。受此启发,我们开发了一种新的注意力机制来捕捉不同传感器之间的动态关联,我们计算它们之间的注意权重(即影响权重)如下
请注意,空间因素也有助于不同传感器之间的相关性
Temporal Attention
由于编码器-解码器架构的性能会随着编码器长度的增加而迅速下降[Cho等人,2014a],一个重要的扩展是通过添加一个时间注意机制,它可以自适应选择编码器的相关隐藏状态来产生输出序列,即建立目标序列中不同时间间隔之间的动态时间相关性模型。具体来说,计算每个输出时间t对编码器每个隐藏状态的注意向量
External Factor Fusion
地感时间序列与poi、传感器网络等空间因子具有较强的相关性。在形式上,这些因素共同构成了一个区域的功能。此外,影响传感器读数的时间因素很多,如气象、时间等。着眼于外部因素在时空应用中的影响,我们设计了一个简单而有效的组件来处理这些因素。
我们首先纳入时间因素,包括时间特征、气象特征和指定目标传感器的SensorID。由于未来时段的天气情况是未知的,我们使用天气预报来提高我们的表现。注意,这些因素大多是分类的,不能直接输入到神经网络中,我们将每个分类属性转换为一个低维向量,分别输入到不同的嵌入层中。在空间因素方面,我们采用不同类别的POIs密度作为POIs特征。由于传感器网络的性质取决于具体的情况,我们只使用网络的结构特征,如邻居数量和交叉口的数量。最后,我们将得到的嵌入向量与空间特征连接起来作为该模块的输出
Encoder-decoder & Model Training
在编码器中,我们将局部空间注意和全局空间注意的输出简单地聚合在一起
实验:
Variant Comparison
GeoMAN: Multi-level Attention Networks for Geo-sensory Time Series Prediction相关推荐
- CVPR 2020 HAN:《Hypergraph Attention Networks for Multimodal Learning》论文笔记
目录 简介 动机 贡献 方法 实验 简介 本文提出了一种用于多模态学习的超图注意力网络,作者来自Kakao公司和首尔大学. Kakao公司的主要产品是Kakao talk,类似于国内的微信,且腾讯是其 ...
- Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social...》论文学习笔记
Dual Graph Attention Networks for Deep Latent Representation of Multifaceted Social Effects in Recom ...
- 分析游戏中的金钱交易:Multi-view Attention Networks
文章目录 1.摘要 2.引入 3.游戏数据描述 3.1 逆水寒中的游戏日志 3.2 社交图分析 3.3 行为序列 3.4 角色属性构造 4.MVAN模型 4.1 multi-graph attenti ...
- 论文笔记之:Graph Attention Networks
Graph Attention Networks 2018-02-06 16:52:49 Abstract: 本文提出一种新颖的 graph attention networks (GATs), 可 ...
- Hierarchical Attention Networks for Document Classification(HAN)
HAN历史意义: 1.基于Attention的文本分类模型得到了很多关注 2.通过层次处理长文档的方式逐渐流行 3.推动了注意力机制在非Seqseq模型上的应用 前人主要忽视的问题: 1.文档中不同句 ...
- Python编程基础:第四十二节 多重继承Multi Level Inheritance
第四十二节 多重继承Multi Level Inheritance 前言 实践 前言 我们之前已经讲过继承的相关知识,当一个类是另一个类的父类,而此时这里的子类又是另一个类的父类,那此时就涉及多重继承 ...
- 38动感菜单 38 jQuery And CSS Drop Down Multi Level Menu Solutions
参看: http://www.1stwebdesigner.com/freebies/38-jquery-and-css-drop-down-multi-level-menu-solutions/ 3 ...
- 【论文复现】Hierarchical Attention Networks for Document Classification
写在前面 最近在整理文本分类方面比较经典的模型,看到了"Hierarchical Attention Networks for Document Classification"这篇 ...
- 2018-GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs
2018-GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs 摘要 1 INTRODUCTIO ...
最新文章
- voc_eval.py:41: RuntimeWarning: invalid value encountered in greater_equal if np.sum(rec = t) ==
- 测试SAP BRF+ ruleset
- Linux系统目录结构及主要内容
- Linux设备驱动模型4——平台总线实践
- python2转python3代码_2to3 – 自动Python 2到3代码翻译 – 开发工具(Python教程)(参考资料)...
- 微信小程序 全局共享数据
- 会议容易中吗_【留学评估】美国留学后就业真的和想象中的一样容易吗?
- android opencv中图像分割,opencv在android平台下的开发【4】-图像滤波详解
- cdn加载插件和npm安装的差别_免费、快速且可靠的开源CDN-jsDelivr
- 实习成长之路:关于ElasticSearch深度分页带来的思考,如何解决深度分页和跳页
- 编译OpenJDK12:Only bundled freetype can be specified on Mac and Windows
- vscode保存代码,自动按照eslint规范格式化代码设置
- 算法导论2.3练习答案
- 巧用PPT模板,远离翻车风险
- Vue中的Ajax(26th)
- iOS6正式版不完美越狱教程(附安装讯飞输入法)
- 手机拍的视频后期怎么处理?视频大神的后期技巧,Vlog大片也能做
- 在B站,没有什么是不能搞CP的
- 【内存泄漏】一个现网问题告诉你血淋淋的事实:java内存泄漏很严重
- ORA-12547: TNS:lost contact 问题处理
热门文章
- python卷积计算_Python使用scipy模块实现一维卷积运算示例
- 应对和惠普戴尔竞争 联想收编PC炒货商
- python wraps_python装饰器中的@wraps
- Notepad++32位安装插件Emmet
- 08 excel vba 根据学生学号输入成绩
- 2019.08.18【NOIP提高组】模拟 B 组 贪心+离散+KMP
- wiki admin.php,天兴工作室wiki主题 兼容会员系统可设置收费 适合知识付费类网站...
- 07Word自动生成图表目录
- 深入探索以太坊世界状态,Part-1
- 电脑系统使用不流畅,如何解决