时空序列预测：SimVP: Simpler yet Better Video Prediction解读

文章摘要:从CNN、RNN到VIT，包含了辅助输入，精细的神经架构和复杂的训练策略。是否有一种简单的方法可以表现得同样好？本文提出了SimVP模型，并通过MSE LOSS以端到端的方式进行训练。

github代码地址：GitHub - ryok/SimVP-Simpler-yet-Better-Video-Prediction

文章地址：SimVP: Simpler Yet Better Video Prediction (thecvf.com)

论文模型结构：

模型的结构由三部分组成：

Encoder:编码器堆叠 $N_s{}$ 个卷积模块，通过堆叠来用来提取空间特征。其在代码中过堆叠了4层来进行空间特征提取，在代码中采用的是GroupNorm并未采用LayerNorm，其中将GroupNorm的num_group设置为了2，其并不是LayerNrom。（GN的极端情况就是LN和IN，分别对应G等于C和G等于1）

Translator：该模块采用 $N_t{}$ 初始化来学习时间演化。在代码中Translator是由Inception结构堆叠而成，Inception结构首先通过了一个1×1的卷积核，而后使用卷积核大小为(3,5,7,11)来分别进行卷积，最后将特征图进行拼接。SimVP模型在Translator通过Inception单元堆叠出了一个Encoder-Decoder结构，这个Encoder-Decoder结构的深度共8层，通过这种方式来进行时间特征的提取得到时间演化效果。

Decoder：解码器利用 $N_s{}$ 个反卷积来重构地面真实帧，该地面真实帧在(H,W)上卷积C个通道，从而实现对Translator信息的解码工作，Decoder与Encoder近乎相似，只是将卷积操作改成了反卷积操作。Decoder堆叠的方式如下式：

总结：SimVP不使用RNN、LSTM和Transformer等高级模块，也不引入对抗性训练和采样学习等复杂的训练策略，所有的模块都是CNN组成、在训练过程中采用的损失函数为MSE LOSS。

论文模型训练实验：

论文中所用数据集：

在五个数据集上进行了实验， $N_{train}$ 代表训练集个数、 $N_{test}$ 代表测试集个数。 $\left (C,H,W \right )$ 代表通道的图像分辨率， $T$ 和 $T^{'}$ 代表了输入长度和预测长度。

由表中数据可以看出，模型在MAE、MSE、SSIM上都进行了评估，该模型不仅相较于其他的结构模型轻量化，而且其在视频预测领域有比较好的效果。作者最后希望该模型成为一个视频预测领域对比的基线模型。

时空序列预测：SimVP: Simpler yet Better Video Prediction解读相关推荐

卷积LSTM网络应用于时空序列预测
时空序列预测问题是输入的是按照某一时刻之前若干个时刻表示空间信息的二维矩阵,预测某一时刻后面若干个时刻的空间状态.可以形式化为: 卷积LSTM(Convolutional LSTM)是把卷积神经网络的 ...
【时空序列预测实战】风险时空预测？keras之ConvLSTM实战来搞定
作者 | Eric琨学校 | 武汉大学信管研究 | NLP.时空序列出品 | AI蜗牛车前言毕设临近截止,故写一篇心得以供新手学习,理论在知乎上有很多介绍的不错的文章,这里强烈推荐微信公众号 ...
【时空序列预测第二篇】Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting
个人公众号 AI蜗牛车作者是南京985AI硕士,CSDN博客专家,研究方向主要是时空序列预测和时间序列数据挖掘,获国家奖学金,校十佳大学生,省优秀毕业生,阿里天池时空序列比赛rank3.公众号致力于 ...
【时空序列预测paper】ConvLSTM:A Machine Learning Approach for Precipitation Nowcasting
前言: 论文和两位大佬的解读一起看AI蜗牛车和翻滚的小@强论文原文:Convolutional LSTM Network: a machine learning approach for prec ...
2021AIOps挑战赛|基于移动通信网络运维中的多指标时空序列预测
2021国际AIOps挑战赛决赛暨AIOps创新高峰论坛于2021年5月13日在北京成功举行.本文根据中国移动研究院首席科学家.人工智能与智慧运营中心总经理冯俊兰博士现场发言纪要整理而成. 演讲内容 ...
中国移动研究院冯俊兰：基于移动通信网络运维中的多指标时空序列预测
这和我当年做的工作就很像了. 转载自:https://mp.weixin.qq.com/s/veqH753nxWW0Hr0PDB1uSg 中国移动研究院冯俊兰:基于移动通信网络运维中的多指标时空序列预 ...
【时空序列预测第四篇】PredRNN++: Towards A Resolution of the Deep-in-Time Dilemma in Spatiotemporal Predictive
前言保持住节奏,每周起码一篇paper reading,要时刻了解研究的前沿,是一个不管是工程岗位还是研究岗位AIer必备的工作,共勉! 准备再写几篇这种非常细致的文章之后,接下来写作主要集中在模型 ...
【时空序列预测第十五篇】HPRNN: A HIERARCHICAL SEQUENCE PREDICTION MODEL FOR LONG-TERM WEATHER RADAR ECHO EXTRAPO
一.Address 来自NUDT的一篇ICASSP paper HPRNN: A HIERARCHICAL SEQUENCE PREDICTION MODEL FOR LONG-TERM WEATHE ...
Memory in Memory（MIM）时空序列预测学习总结
动机:作者发现PredRNN中的遗忘门总是处于负饱和中(ft<0.1)会出现灾难性遗忘. 下面给出解释 LSTM内部结构如图为LSTM的内核,它一部分时间信息是存储在Ct中的,而Ct每一时间步 ...

时空序列预测：SimVP: Simpler yet Better Video Prediction解读

时空序列预测：SimVP: Simpler yet Better Video Prediction解读相关推荐

最新文章

热门文章