2023，华为

1. 简介

由于擅长捕获了长期依赖性，基于Transformer的模型最近取了很多进展，也是研究的热点。但是作者发现Attention机制有以下问题（1）对于捕获时间相关，注意力机制性不是必需的（2）时间和channel的交互作用的捕获中的纠缠和冗余影响了预测性能，（3）对输入和预测序列之间的映射进行建模很重要。为此，我们提出了MTS混合器，它使用两个因子化模块来捕获时间和信道相关性。在多个真实数据集上的实验结果表明，MTS Mixer以更高的效率优于现有的基Transformer的模型。

如下图所示，多元时间序列无论是在temporal维度还是channel维度，都存在比较强的冗余性。这些冗余性都表明，大多数多元时间序列都存在低秩性，即只用一小部分数据就可以表示出近似完整的原始矩阵。利用这个性质，可以简化多多元时间序列的建模。

2. MTS-Mixer模型

MTS-Mixer的模型结构如下，第二列是一个抽象结构，后面3列是具体的实现方法

这三种实现方式的整体计算逻辑可以表示为如下形式，时间维度信息提取+空间维度信息提取+信息融合和输出映射。

Attention-based MTS-Mixer

Random matrix MTS-Mixer

Factorized temporal and channel mixing

3. 实验结果

论文对比了MTS-Mixer和多种模型的效果，基本都达到了SOTA效果

【论文阅读】2023 MTS-Mixers相关推荐

【论文阅读】（2023.06.09-2023.06.18）论文阅读简单记录和汇总
(2023.06.09-2023.06.12)论文阅读简单记录和汇总 2023/06/09:虽然下周是我做汇报,但是到了周末该打游戏还是得打的 2023/06/12:好累好困,现在好容易累. 目录 ( ...
【论文阅读】(2023.05.10-2023.06.03)论文阅读简单记录和汇总
(2023.05.10-2023.06.08)论文阅读简单记录和汇总 2023/05/10:今天状态,复阳大残,下午淋了点雨吹了点风,直接躺了四个小时还是头晕- -应该是阳了没跑了. 2023/06/ ...
[论文阅读] (23)恶意代码作者溯源(去匿名化)经典论文阅读：二进制和源代码对比
<娜璋带你读论文>系列主要是督促自己阅读优秀论文及听取学术讲座,并分享给大家,希望您喜欢.由于作者的英文水平和学术能力不高,需要不断提升,所以还请大家批评指正,非常欢迎大家给我留言评论,学 ...
【论文阅读】Attention Based Spatial-Temporal GCN...Traffic Flow Forecasting[基于注意力的时空图卷积网络交通流预测]（1）
[论文阅读]Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting[基于注 ...
【AIGC使用教程】论文阅读神器 SciSpace 从注册到体验
欢迎关注[AIGC使用教程] 专栏 [AIGC使用教程]论文阅读神器 SciSpace 从注册到体验 [AIGC使用教程]Microsoft Edge/Bing Chat 注册使用完全指南 [AIGC ...
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记
PolyFormer: Referring Image Segmentation as Sequential Polygon Generation 论文阅读笔记一.Abstract 二.引言三.相 ...
场景生成及编辑3D定位论文阅读
前置知识归纳偏置关于归纳偏置的理解:首先推荐一篇解释归纳偏置非常好的博客:浅谈归纳偏置 (InductiveBias) 通俗的,归纳偏置可以理解为,从现实生活中观察到的现象中归纳出一定的规则(h ...
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记
Dynamic MDETR: A Dynamic Multimodal Transformer Decoder for Visual Grounding 论文阅读笔记一.Abstract 二.引言 ...
解决参考图像分割中的随机性问题：MMNet: Multi-Mask Network for Referring Image Segmentation 论文阅读笔记
解决参考图像分割中的随机性问题:MMNet: Multi-Mask Network for Referring Image Segmentation 论文阅读笔记一.Abstract 二.引言三. ...
【OTFS与信号处理：论文阅读4】OTFS时延多普勒域嵌入导频辅助信道估计
2023.07.10 虽说目前已经有频谱效率更高的叠加导频设计,但是这篇论文堪称OTFS嵌入式导频的经典之作,经常被其他论文引用,左思右想觉得还是有必要重新阅读并记录学习过程.(注:关于MIMO的部分 ...

【论文阅读】2023 MTS-Mixers

1. 简介

2. MTS-Mixer模型

3. 实验结果

【论文阅读】2023 MTS-Mixers相关推荐

最新文章

热门文章