1、TPA理论

注意力机制（Attention mechanism）通常结合神经网络模型用于序列预测，使得模型更加关注历史信息与当前输入信息的相关部分。时序模式注意力机制（Temporal Pattern Attention mechanism, TPA）由 Shun-Yao Shih 等提出（Shih, Shun-Yao, Sun, Fan-Keng, Lee, Hung-yi. Temporal Pattern Attention for Multivariate Time Series Forecasting[J]. 2019.arXiv:1809.04206），其通过使用 CNN 滤波器提取输入信息中的定长时序模式，使用评分函数确定各时序模式的权值，根据权值的大小得到最后的输出信息。TPA机制的框图如图 1所示

图1 TPA机制

TPA 机制的实现包含以下三个过程，具体参考文献《Shih, Shun-Yao, Sun, Fan-Keng, Lee, Hung-yi. Temporal Pattern Attention for Multivariate Time Series Forecasting》

（1）时序模式的获取

（2）权值计算

（3）TPA输出

2、 LSTM理论

LSTM（Long Short Term Memory）神经网络是具有长短时信息记忆功能的神经网络，由Hochreiter & Schmidhuber [67] 于 1997 年提出，经过若干代改进，已形成了完整的体系结构。LSTM的提出是为了解决长期依赖问题，即在对时间序列进行建模时，经过若干次的迭代计算后，较早的时间序列的特征会被新的特征所覆盖，导致新的特征包含的信息减少，从而使模型丧失了对长期信息的学习能力。为了解决长期依赖问题，LSTM 神经网络引入了门控（Gate）的概念，通过多个门控制特征的流通与遗失。LSTM 神经网络由一系列的 LSTM 单元组成，其单元结构如图2：

图2 LSTM结构单元

其中：蓝色框中 d 、 i 、 o 表示 LSTM 单元的遗忘门、输入门和输出门。

（1）遗忘门：遗忘门决定上一时刻状态信息保留度

（2）更新门：输入门决定该单元的状态是否更新

（3）输出门：输出门决定单元的最终输出值

3、TPA-LSTM 模型

TPA-LSTM 模型是利用 TPA 机制对 LSTM 模型隐含层输出值进行运算，相比于 LSTM 模型，关注以往不同时刻的隐含层输出值与当前时刻隐含层输出值之间的关联，即通过计算两者相关性确定以往隐含层输出值的权值，获得最终隐含层输出值。本文所使用的 TPA-LSTM 模型结构如图3所示。图中网络的输入为前 w-1 个时刻（t-w+1~t-1）的时间序序列，网络输出为当前 t 时刻预测值。

图3 TPA-LSTM模型结构

通过前向-后向传播的方式训练 TPA-LSTM 模型，模型优化算法为 Adam（Adaptive momentestimate）算法。 Adam 优化算法通过不同参数前一时刻的梯度的一阶和二阶矩估计，计算当前时刻的数值，此算法结合了 AdaGrad（适用于稀疏梯度）和 RMSProp（适用于在线以及非稳态情况）的优势。在神经网络的训练中，目标函数通常为网络的输出，即，其中 θ 为多参数集合，参数寻优的目的是找到合适的参数 θ 使得函数取得最优（最大或最小）值。在神经网络训练中，通常以损失函数（loss 函数）代指，故定义真实与预测值的绝对误差为损失函数：

4、仿真结果

图1：LSTM训练曲线

图2：LSTM预测结果

图3：TPA-LSTM训练曲线

图4：TPA-LSTM预测结果

图5：方法对比

基于时序模式注意力机制（TPA）的长短时记忆（LSTM）网络TPA-LSTM的多变量输入风电功率预测相关推荐

基于时间模式注意力机制的LSTM(TPA-LSTM)
对TPA过程的理解首先传入大量的时间序列,LSTM通过大量的时间序列获得一个隐状态矩阵H. 对于隐状态矩阵H的每行(第i行),使用k个CNN过滤器提取特征,产生维度为n*k的HC矩阵. 对于要预测的 ...
基于Transformer的多变量风电功率预测TF2
Transformer目前大火,作为一个合格的算法搬运工自然要跟上潮流,本文基于tensorflow2框架,构建transformer模型,并将其用于多变量的风电功率负荷预测. 实验结果表明,相比与 ...
【风电功率预测】基于matlab帝国殖民竞争算法优化BP神经网络风电功率预测【含Matlab源码 1314期】
⛄一.获取代码方式获取代码方式1: 完整代码已上传我的资源: [风电功率预测]基于matlab帝国殖民竞争算法优化BP神经网络风电功率预测[含Matlab源码 1314期] ⛄二.帝国殖民竞争算法简 ...
风电功率预测matlab,一种基于二十四节气的风电功率预测方法与流程
本发明属于风电场技术领域,尤其涉及一种基于二十四节气的风电功率预测方法. 背景技术: 风能的随机波动性对电网产生的较大冲击给风电产业的发展带来了巨大挑战.目前风电功率预测误差较大,数值天气预报精度.训 ...
【预测模型】基于BP神经网络、LSTM、GRNN实现风电功率预测附matlab代码
1 简介风电功率预测结果的准确性,不仅关系到风力发电厂的综合运行效率,也与区域运行成本具备直接联系,基于BP神经网络.LSTM.GRNN实现风电功率预测.经过实例分析,证明设计的方法对风电功率的预 ...
基于小波Elman神经网络的短期风电功率预测
风力发电在全球范围内快速发展,装机容量逐年增加,截止2013 年底,中国风电新增装机容量约 16.1GW,较 2012 年的 12.96GW 大幅提高了 24%,中国风电累计装机已超过 90GW. 风 ...
（文章复现）5.基于BP神经网络的风电功率预测方法（MATLAB程序）
复现文章: 基于BP神经网络的风电功率预测方法--刘立群(2021年) 摘要: 风电功率预测结果的准确性,不仅关系到风力发电厂的综合运行效率,也与区域运行成本具备直接联系,为解决传统预测方法的不足,基 ...
基于GA-BP神经网络的风电功率预测
基于遗传算法的BP神经网络风电功率预测,matlab程序,程序注释清晰,简单易读. 有需要的可点击下面的连接获取. (1条消息) 基于GA-BP神经网络的风电功率预测-数据集文档类资源-CSDN文库h ...
风电功率预测优化算法MATLAB程序基于改进神经网络
风电功率预测优化算法MATLAB程序基于改进神经网络 (1) 该程序为基于改进神经网络的风电功率预测优化算法程序,风电预测程序,期刊论文源程序,配有该论文. (2) 该程序所用的ICA-BP 神经网络 ...

基于时序模式注意力机制（TPA）的长短时记忆（LSTM）网络TPA-LSTM的多变量输入风电功率预测

1、TPA理论

2、 LSTM理论

3、TPA-LSTM 模型

4、仿真结果

基于时序模式注意力机制（TPA）的长短时记忆（LSTM）网络TPA-LSTM的多变量输入风电功率预测相关推荐

最新文章

热门文章