ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)

城市流预测对于公共交通管理和智慧城市建设具有重要的意义。虽然以往的研究在一定程度上对时空信息进行了整合，但这些模型在时间维度上缺乏对全局信息和位置信息的考虑，主要表现在三个方面:1)模型没有考虑时间轴的相对位置信息，导致flow maps 的位置特征没有得到有效学习。b)忽略了不同尺度的时间相关性，导致全局信息表示不准确。c)这些模型只预测时间序列末尾的flow maps ，在此之前没有预测更多的flow maps ，导致在学习过程中忽略了部分时间特征。

为了解决这一问题，本文提出了一种新的城市流预测模型——时空全局语义表示学习(ST-GSP)。具体来说，对于a)，我们设计了一个提取时间相对位置信息的语义流编码器。此外，编码器在每个时间间隔捕捉城市流动的空间依赖性和外部因素。对于b)，我们利用多头自注意机制同时对不同尺度的时间依赖关系进行建模，该机制可以学习全局时间依赖关系。对于c)，受自我监督学习思想的启发，我们在时间序列上掩盖了一个城市流图，并预测它，以预先训练一个深度双向学习模型，从其上下文捕捉表示。我们对北京和纽约两种类型的城市流进行了广泛的实验，以表明所提出的方法优于最先进的方法。

问题：忽略不同粒度的时间依赖中的互相关性

方法：

为了解决上述问题，我们提出了一种新的城市流预测的时空全局语义表示学习模型(Spatial-Temporal Global Semantic representation learning for urban flow Prediction, ST-GSP)，该模型可以有效地学习城市流的全局时间相关性。具体而言，我们设计了一个由ResNet[6]和一个多层感知器组成的语义流编码器，以模拟城市范围内的空间相关性和外部因素的影响。为了捕获不同规模的时间依赖关系之间的相关性，我们使用多头自关注机制[17]来建模全局时间依赖关系。此外，我们还探讨了自监督学习在城市流预测中的应用。我们在训练前阶段对部分城市流序列进行掩模，然后对其进行重构。我们希望模型可以学习通过这种预训练方法对城市流序列进行深度双向表示。最后，与现有的许多方法相比，我们提炼了外部因素的时间信息。除了日常语义(即每周的某一天和每月的某一天)，我们还添加了日间语义(即每天的某小时)。这些细化的时间信息可以作为位置编码[17]来反映每个流图在时间轴上的位置。

时空全局语义表示学习用于城市流预测(ST-GSP)，挖掘不同区域的时空演变和复杂外部事实的影响。ST-GSP mainly consists of three components: semantic flow encoder, transformer encoder, and fusion process.

semantic flow encoder对不同距离的空间依赖性和外部因素的影响进行编码。transformer encoder用于捕获不同尺度的时间相关性。usion process是将历史表征与外部因素对未来时间间隔的融合，来表达最终表征。同时，为了学习城市流序列的双向深度表示，我们探索了自监督学习在我们的模型中的应用。

1）Semantic Flow Encoder

我们设计了语义流编码器，它可以捕捉空间相关性和外部因素的影响。the semantic flow encoder consists of two major components: ResNet and a multi-layer perceptron

2）Transformer Encoder

在时间相关性建模方面，现有的神经网络，包括RNN和LSTM，只能捕获短期的时间相关性，而对长期相关性的学习效果较差，这可能会对城市流预测产生较大的影响。这些方法忽略了不同尺度的时间相关性

3） Fusion

融合过程包括两个主要部分:全连接层和多层感知器。第一个模块将表示与未来时间间隔的历史表示相融合，第二个模块将表示与外部因素相融合。

Self-Supervised Learning

近年来，自监督学习在许多场景中都取得了成功[3,21]。自我监督学习有两个步骤:训练前和微调。

我们利用自监督学习来提高深度双向变压器编码器的表示能力

EXPERIMENTS

Ablation Study

Multi-Headed Self-Attention Analysis

为了解释我们的transformer编码器是否真的捕获了动态全局时间依赖关系，我们将

ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)相关推荐

2.Paper小结——《Privacy-preserving blockchain-based federated learning for traffic flow prediction》
题目: 基于区块链的基于隐私保护的交通流量预测的联邦学习 0.Abstract: 交通流量预测已成为智能交通系统的重要组成部分.然而,现有的基于集中式机器学习的交通流量预测方法需要收集原始数据以进行模 ...
When Transfer Learning Meets Cross-City Urban Flow Prediction: Spatio-Temporal Adaptation Matters
城市流量预测是构建智慧城市的一项基本任务,神经网络已经成为其中最流行的方法.然而,深度学习方法通常依赖于大量的训练数据,这些数据在现实世界中可能是不可访问的.鉴于此,社会呼吁knowledge tra ...
文献阅读（72）WWW2022-TREND: TempoRal Event and Node Dynamics for Graph Representation Learning
本文是对<TREND: TempoRal Event and Node Dynamics for Graph Representation Learning>一文的总结,如有侵权即刻删除. ...
Inductive Representation Learning In Temporal Networks via Causal Anonymous Walks
文章目录 1 前言 2 问题定义 3 CAW思路 3.1 Causal Anonymous Walk 3.1.1 Causality Extraction 3.1.2 Set-based Anonym ...
【论文导读】Time-Series Representation Learning via Temporal and Contextual Contrasting（时间和上下文对比的时间序列表示学习）
Time-Series Representation Learning via Temporal and Contextual Contrasting(通过时间和上下文对比的时间序列表示学习) 论文信 ...
论文阅读：Self-supervised video representation learning with space-time cubic puzzles
论文名称:Self-supervised video representation learning with space-time cubic puzzles(2019 AAAI) 论文作者:Dah ...
【U-HRNet2022】U-HRNet: Delving into Improving Semantic Representation of High Resolution Network for
U-HRNet: Delving into Improving Semantic Representation of High Resolution Network for Dense Predict ...
对比学习系列论文CPC（二）—Representation Learning with Contrastive Predictive Coding
0.Abstract 0.1逐句翻译 While supervised learning has enabled great progress in many applications, unsupe ...
表示学习（Representation Learning）之局部表示（Local Representation）与分布式表示（Distributed Representation）
一个良好的表示是内容充分高效表达的基础,作为沟通计算机与现实世界的桥梁,计算机行业人员每时每刻都在研究事物的表示.比如:编程语言,早期的机器语言和现在的高级程序语言可以看作是指令的两种不同表示方式,从 ...

ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)

ST-GSP: Spatial-Temporal Global Semantic Representation Learning for Urban Flow Prediction(2022WSDM)相关推荐

最新文章

热门文章