多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)

多维时序 | MATLAB实现Attention-GRU多变量时间序列预测----注意力机制融合门控循环单元，即TPA-GRU，时间注意力机制结合门控循环单元

效果一览

基本介绍

Matlab实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元，也可称呼TPA-GRU，时间注意力机制结合门控循环单元)，将注意力机制( attention mechanism) 引入GRU( gated recurrent unit) 模型之中，最后，将特征数据集划分为训练集、验证集和测试集，训练集用于训练模型，确定最优模型参数，验证集和测试集用于对模型效果进行评估。

模型结构

相较于LSTM，GRU网络比较大的改动在于:
(1)GRU网络将单元状态与输出合并为隐藏状态，依靠隐藏状态来传输信息。
(2) GRU网络将LSTM 中的遗忘门和输入门整合成为了一个更新门限。正是由于这两个创新点的引入，使得GＲU 模型较LSTM 模型具有如下优点: 参数量减少了三分之一，不容易发生过拟合的现象，在一些情况下可以省略dropout 环节; 在训练数据很大的时候可以有效减少运算时间，加速迭代过程，提升运算效率; 从计算角度看，其可扩展性有利于构筑较大的模型。同时，GRU继承了LSTM 处理梯度问题的能力，其门结构可以有效过滤掉无用信息，捕捉输入数据的长期依赖关系，在处理序列问题上具有非常出色的表现。

注意力机制是深度学习中的一种仿生机制，它的提出是由人类观察环境的习惯规律所总结而来的，人类在观察环境时，大脑往往只关注某几个特别重要的局部，获取需要的信息，构建出关于环境的描述，而注意力机制正是如此，其本质就是对关注部分给予较高权重，从而获取更有效的信息，从数学意义上来说，它可以理解为是一种加权求和。注意力机制的主要作用包括:
( 1) 对输入序列的不同局部，赋予不同的权重。
( 2) 对于不同的输出序列局部，给输入局部不一样赋权规划。

程序设计

完整程序和数据下载：程序获取

%%  注意力参数
Attentionweight = params.attention.weight;  % 计算得分权重
Ht = GRU_Y(:, :, end);                      % 参考向量
num_time = size(GRU_Y, 3);                  % 时间尺度%%  注意力得分
socre = dlarray;
for i = 1: num_time - 1A = extractdata(squeeze(GRU_Y(:, :, i)));A = repmat(A, [1, 1, num_hidden]);A = permute(A, [1, 3, 2]);A = dlarray(A, 'SCB');B = squeeze(sum(A .* dlarray(Attentionweight, 'SC'), 1));C = squeeze(sum(B .* Ht, 1));socre = [socre; C];
end
%%  注意力得分
a = sigmoid(socre);
Vt = 0;
for i = 1: num_time - 1Vt = Vt + a(i, :) .* GRU_Y(:, :, i);
end
%%  注意力机制
bias1 = params.attenout.bias1;
bias2 = params.attenout.bias2;
weight1 = params.attenout.weight1;
weight2 = params.attenout.weight2;
HVT = fullyconnect(Vt, weight1, bias1) + fullyconnect(Ht, weight2, bias2);
%%  全连接层
LastBias = params.fullyconnect.bias1;
LastWeight = params.fullyconnect.weight1;
%%  注意力参数初始化
params.attention.weight = gpuArray(dlarray(0.01 * randn(num_hidden, num_hidden)));
%%  注意力权重初始化
params.attenout.weight1 = gpuArray(dlarray(0.01 * randn(num_hidden, num_hidden)));
params.attenout.weight2 = gpuArray(dlarray(0.01 * randn(num_hidden, num_hidden)));

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/127944569?spm=1001.2014.3001.5502
[2] https://blog.csdn.net/kjm13182345320/article/details/127944537?spm=1001.2014.3001.5502

多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)相关推荐

（pytorch-深度学习）门控循环单元（GRU）
门控循环单元(GRU) 循环神经网络中的梯度计算当时间步数较大或者时间步较小时,循环神经网络的梯度较容易出现衰减或爆炸. 虽然裁剪梯度可以应对梯度爆炸,但无法解决梯度衰减的问题. 通常由于这个原因, ...
pytorch学习笔记（三十一）：门控循环单元（GRU）
文章目录前言 1. 门控循环单元 1.1 重置门和更新门 1.2 候选隐藏状态 1.3 隐藏状态 2. 读取数据集 3. 从零开始实现 3.1 初始化模型参数 3.2 定义模型 3.3 训练模型并创 ...
现代循环神经网络-1.门控循环单元（GRU）【动手学深度学习v2】
文章目录 1.门控循环单元(GRU) 1.1 门控隐状态 A.重置门与更新门 B.候选隐状态 C.隐状态 1.2 GRU的实现 A.从零实现 B.简洁实现 1.门控循环单元(GRU) GRU是一个比较 ...
门控循环单元网络GRU详解
为了改善循环神经网络的长程依赖问题,在梯度消失是循环网络的主要问题除了使用一些优化技巧外更有效的方式就是改变模型比如让U = I同时令 ∂ht/∂ht= I 为单位矩阵即ht = ht−1 + g( ...
门控循环单元网络(GRU)在自然语言处理中的应用
作者:禅与计算机程序设计艺术 1.简介自然语言处理(NLP)是人类认知的一项重要技能,它涉及到对文本数据进行处理.提取信息并对其做出回应.传统上,文本分析方法使用基于统计模式的算法,如TF-IDF. ...
GRU（Gate Recurrent Unit，门控循环单元）结构
GRU类似LSTM,也是为了解决RNN长期记忆的梯度消失问题 LSTM有三个不同的门,参数较多,训练困难.GRU只含有两个门控结构,调优后相比LSTM效果相差无几,且结构简单,更容易训练,所以很多时候 ...
回归预测 | MATLAB实现WOA-GRU鲸鱼算法优化门控循环单元多输入单输出回归预测
回归预测 | MATLAB实现WOA-GRU鲸鱼算法优化门控循环单元多输入单输出回归预测目录回归预测 | MATLAB实现WOA-GRU鲸鱼算法优化门控循环单元多输入单输出回归预测写在前面效果 ...
动手学深度学习（三十九）——门控循环单元GRU
文章目录门控循环单元(GRU) 一.门控隐藏状态 1.1 重置门和更新门 1.2候选隐藏状态 1.3 隐藏状态二.从零实现GRU 2.1 初始化模型参数 2.2 定义模型 2.3 训练与预测 2. ...
多维时序 | MATLAB实现基于VMD-SSA-LSSVM、SSA-LSSVM、VMD-LSSVM、LSSVM的多变量时间序列预测对比
多维时序 | MATLAB实现基于VMD-SSA-LSSVM.SSA-LSSVM.VMD-LSSVM.LSSVM的多变量时间序列预测对比目录多维时序 | MATLAB实现基于VMD-SSA-LSS ...

多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)

多维时序 | MATLAB实现Attention-GRU多变量时间序列预测----注意力机制融合门控循环单元，即TPA-GRU，时间注意力机制结合门控循环单元

目录

效果一览

基本介绍

模型结构

程序设计

参考资料

多维时序 | MATLAB实现Attention-GRU多变量时间序列预测(注意力机制融合门控循环单元,TPA-GRU)相关推荐

最新文章

热门文章