Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting

在许多实际应用中，时间序列预测是一个关键而具有挑战性的问题。近年来，基于transformer的模型在时间序列预测方面取得了很大的进展。此外，一些模型引入了序列分解来进一步揭示可靠而简单的时间依赖关系。不幸的是，很少有模型能够处理复杂的周期性模式，例如真实数据集中的多个周期、可变周期和相位转移。同时，众所周知的点积的二次复杂度阻碍了长序列建模。为了应对这些挑战，我们设计了一个创新的框架四元数转换器(Quaternion Transformer, Quatformer)，以及三个主要组件:1)基于四元数的旋转学习(learning-to-rotate attention, LRA)，引入可学习的周期和相位信息来描绘复杂的周期模式。2)趋势归一化，考虑到趋势变化缓慢的特点，对模型隐藏层中的序列表示进行归一化。3).利用全局内存解耦LRA，在不失去预测精度的前提下实现线性复杂度。我们在多个真实世界的时间序列数据集上评估了我们的框架，观察到与最好的最先进的基线相比，平均8.1%和高达18.5%的MSE改进。

问题：

1）由于时序依赖关系可能被纠缠的趋势和周期模式所掩盖，如何对时序依赖关系进行建模仍然是一个挑战。

2）传统的预测方法，如seasonal ARIMA[9]和Prophet[24]，也利用了具有启发式周期先验的分解，但未能自动智能地建模复杂的周期模式。

方法：

我们的主要目标是对复杂的周期模式进行建模，以实现准确的时间序列预测。首先，设计了一种新的核，即rotatory softmax-kernel，通过四元数形式将给定时间序列的表示序列按频率(或周期)进行旋转，从而在测量成对相似性时融入周期和相位信息。该内核可以直接插入点积注意力。为进一步处理多个周期、可变周期和相位偏移，本文提出以数据驱动的方式学习潜在的频率和相位，得到旋转学习注意力，保留了对注意力机制长程依赖的建模能力，并利用了时间序列的周期特性。此外，我们提出趋势归一化，通过强制趋势分量的缓慢变化特性来更好地归一化隐藏层中的序列表示。

本文提出解耦注意力，通过引入一个额外的固定长度的潜序列来存储全局记忆，将注意力机制解耦为两个具有线性复杂度的注意力

框架：

提出了四元数Transformer框架，成功地处理了复杂的周期模式，打破了长时间序列预测的计算效率瓶颈。其中，四元数旋转注意力学习(LRA)旨在对时间序列的复杂周期依赖关系进行建模，趋势归一化类似于层归一化，但强调隐藏层中序列表示的缓慢变化趋势。提出一种解耦注意力，将LRA的二次复杂度降低为线性。

Learning-to-Rotate Attention

Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting相关推荐

MOCKINGJAY: UNSUPERVISED SPEECH REPRESENTATION LEARNING WITH DEEP BIDIRECTIONAL TRANSFORMER ENCODERS
文章:MOCKINGJAY: UNSUPERVISED SPEECH REPRESENTATION LEARNING WITH DEEP BIDIRECTIONAL TRANSFORMER ENCOD ...
Efficient and Robust 2D-to-BEV Representation Learning via Geometry-guided Kernel Transformer（GKT）论文
Efficient and Robust 2D-to-BEV Representation Learning via Geometry-guided Kernel Transformer 论文笔记原 ...
论文笔记：Do We Really Need Deep Learning Models for Time Series Forecasting?
Do We Really Need Deep Learning Models for Time Series Forecasting? Elsayed S, Thyssens D, Rashed A, ...
时间序列预测分析（2）How to Develop a Skillful Machine Learning Time Series Forecasting Model
文章目录 Process Overview How to Use This Process 1. Define Problem 分析问题 2. Design Test Harness 设计评估工具常 ...
李宏毅《Deep Learning》学习笔记 - transformer
学习资料视频:https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4& ...
【论文分享】TCCT: Tightly-coupled convolutional transformer on time series forecasting
TCCT:时间序列预测的紧耦合卷积 Transformer 提高 Transformer 的效率和增强局部性,将 Transformer 与 CNN 进行了不同程度的结合.但是,它们的组合是松耦合的 ...
论文笔记：FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting
2022 ICML 1 Intro 长时间序列问题是一个研究很广泛的问题 RNN以及变体会遇到梯度消失/梯度爆炸,这会在很大程度上限制他们的表现 Transformer的方法会导致很高的计算复杂度,以 ...
Multi-Horizon Time Series Forecasting with Temporal Attention Learning
我们提出了一种新的数据驱动的方法来解决multi-horizon probabilistic forecasting tasks ,预测未来视界上时间序列的全部分布.我们说明隐藏在历史信息中的时间模式 ...
阿里达摩院最新FEDformer，长程时序预测全面超越SOTA | ICML 2022
©作者 | Qingsong 单位 | 阿里达摩院决策职能实验室论文标题: FEDformer: Frequency Enhanced Decomposed Transformer for Long ...

Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting

Learning to Rotate: Quaternion Transformer for Complicated Periodical Time Series Forecasting相关推荐

最新文章

热门文章