SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series

这是一篇基于Tapnet修改的文章。

创新点：

1、加入了时间序列的空间信息（也就是variable 轴）

2、是用半监督学习

3、对embedding learning可视化

4、与13个监督学习和4个半监督学习作为baseline

（个人觉得，相较于Tapnet，不同的地方主要在于加入了空间信息，和用的是AE框架）

A:MTS需要考虑2个部分，一部分是时间依赖性 $p(x_{t'}|x_{t}) (t'>t)$ 和空间相关性。先前的论文都是只有考虑2个variable之间对应点的相关性。但这篇论文觉得，应该考虑2个variable 一个m窗口之间的相关性。也就是 $s_{t}$ 的相关性，其中 $s__{t}=\{x_{t-m/2,t+m/2}^i ,{x_{t-m/2,t+m/2}^j} \}$ 。这带来了一个空间相关矩阵的时间邻居和空间变量给定的空间状态。

B：半监督学习的定义， $D_{l}$ 为标签样本， $D_{u}$ 是没有标签样本。

SMATE:

SMATE有3个关键部分，一个是时空动态encoder，序列decoder，和半监督的嵌入层的三步正则化。

SMB：

简单说就是把序列通过空间模块，加入空间信息，个人觉得，类似于SE模块，只不过论文中加了一个参数M，来调整一个窗口内的相关性。

三步正则化（three-step regularization）：

1:求出每一类的均值。就是把所有类别1的embedding vector 初始化聚类为 $c_{k}$ ,k为类别数。

2、调整有标签数据质心位置，也就是均值，计算每一个实例到质心的距离，然后求出新的权重Wki

然后更新质心

3、用无标签数据调整质心位置，计算无标签到质心的距离的比重，然后求出新的权重

最后，合并有监督和无监督数据数据，得出最后的质心

最后，计算loss是交叉熵加上MSE的loss

SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series相关推荐

ST-Norm: Spatial and Temporal Normalization for Multi-variate Time Series Forecasting（KDD2021）
ST-Norm: Spatial and Temporal Normalization for Multi-variate Time Series Forecasting(KDD2021) 多变量时间 ...
图构造总结-Graph‑based semi‑supervised learning via improving the quality of the graph dynamically
前言本博文主要对论文中提到的图构造方法进行梳理,论文自己提出的模型并未介绍,感兴趣的可以阅读原文摘要基于图的半监督学习GSSL主要包含两个过程:图的构建和标签推测.传统的GSSL中这两个过程是完 ...
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting翻译
摘要在计算负担和分布建模方面,高维多元时间序列的概率预测是一个具有挑战性的任务.大部分先前的工作要么使用简单的分步假设或放弃建模跨时间序列的相关性.一个有希望的工作方向是利用可扩展的矩阵分解,来获得 ...
oracle11g知乎,【AAAI】AAAI2020录用论文汇总（二）
因为AAAI的接受论文官方还没有放出,并且放的也是出奇的慢,本文汇总了23日在arxiv上挂出来的AAAI2020文章,供大家挑选感兴趣的文章下载.第一部分可以看忆臻:[AAAI]AAAI2020录 ...
AAAI2020录用论文汇总（二）
本文汇总了截至2月23日arxiv上上传的所有AAAI2020录用论文,共计629篇,因篇幅过长,分为三部分,分享给大家. AAAI2020论文汇总(part 2) [201] Colosseu ...
整理研究方向（1）【未完成】
系列文章目录整理研究方向(2) 文章目录系列文章目录整理研究方向(2) 郑宇团队工作 2022 2021 总结与分析研究方向的转变心得体会--我们可以做什么呢? 北交林友芳团队时空数据挖掘 ...
【AAAI 2020】全部接受论文列表（二）
来源:AINLPer微信公众号(点击了解一下吧) 编辑: ShuYini 校稿: ShuYini 时间: 2020-01-22 最近武汉肺炎形势严峻,请小伙伴们带好口罩,做好防护,大家新年快乐~ ...
串′ababaaababaa′的next数组（求next数组思路与实例）
刚刚开始遇到这个问题说实话完全懵逼,然后简单搜了下,还是理解的模棱两可.最后看了几篇博客,现在才算是真正的理解了. 首先在将例子之前先说说这个next数组求解的思路: 第一位的next的值是0,第二位 ...
Python爬虫——简易模拟登录【以科文学院教务官网为例】
实战:对科文教务系统进行拦截科文学院教务系统内网地址:http://10.110.240.221/jsxsd/ 进入官网后再打开拦截. 输入一个错误的账号密码进行试探. 点击登陆按钮,进行拦截,可以 ...

SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series

SMA TE: Semi-Supervised Spatio-Temporal RepresentationLearning on Multivariate Time Series相关推荐

最新文章

热门文章