暑期项目实训7.19 论文复现+寻找并阅读新论文

最近的工作就是复现完成之前提到的论文，并且阅读看到的新的论文。

上篇论文剩下的就是CAAN模块，我从网上找到了讲的很清楚的一张图：

扒源码：跳出self-attention看多头点积注意力 - 知乎 (zhihu.com)

经过多方面的了解后，这部分网络结构其实不难完成，随着这个模型的完成，剩下的就是超参数设置和训练，其中有个超参数我连调的大概范围都不知道，于是主动联系了作者，作者给予了我一些指导：

非常感谢作者的知道，让我少走了很多弯路

在复现完成的论文中，我认识到了一个作为baseline的CA-SFCN模型，表现还挺好的，而且是基于卷积网络的，我也想把它复现了看一看效果。

CA-SFCN是2020年发表在顶会的一篇文章，网络上几乎没有资料讲解，唯一可依靠的就是它的论文。

下面简单介绍一下它的模型：

这是2020年发表的一篇基于卷积和新的注意力计算方式（对我而言）的时间序列预测论文，股票预测并不在它的论文的data里面，是用来预测其他时间序列的，但因为他是基于cnn的，而且在上篇论文中作为baseline出现，表现挺好，我复现一下。

这篇论文github只有一篇官方代码，但官方的代码是基于论文的，不仅涉及近10中baseline，还有近10种数据的处理，而且没有股票data，我感觉得有几万到十几万行代码，完全不是我能看的东西。

简单来说就是通过多层SFCN（s是它论文中提到的stable)，提取特征，得到一个X，再送入Temporal Attention模块中学习时间注意力。

再送入Variable Attention学习空间（股票之间的）注意力。（和TA是相似的）。这儿学习注意力的方式和之前RNN模型中不同，还是通过多个1*1的卷积和矩阵乘法进行，和CAAN中的差不多，最后送入Globaling Pooling中，每个特征图每只股票保留一个数据，然后再进行一次全连接网络和Softmax输出涨或跌。是一个分类预测。

Cross Attention在上篇论文中的CAAN中有过了解，采用的相似的算法。

我的最好有62%的正确率

暑期项目实训7.19 论文复现+寻找并阅读新论文相关推荐

山东大学暑期项目实训——云主机服务比价与预测系统
山东大学暑期项目实训--云主机服务比价与预测系统(十二) 使用tensorflow做预测一.简单的预测函数值 1.使用训练数据做预测创建模型: model = keras.Sequential([ ...
暑期项目实训——01
项目名称:基于金融大数据的特征提取与趋势预测系统 2021.06.28 今天是项目实训的第一天所以我们只是对这个项目进行了大致的了解和小组分工,并没有对这个项目进行深入展开. 上午:导师对这个项目进行 ...
山东大学暑期项目实训-基于信用评分卡算法模型的个人信用评级系统的设计与实现-第一周-1（6月28日）
实训题目名称基于信用评分卡算法模型的个人信用评级系统的设计与实现项目流程本项目核心信用风险评级模型的主要的研发及设计实现策略及流程如下: (1) 数据获取,包括获取存量客户及潜在客户的数据.存量 ...
暑期项目实训7.7 flask+darnn继续修改+内网穿透+DSTP论文阅读
最近几天的工作主要包括一下三个方面: flask的了解与使用之前DARNN网络的改进(表现有一些进步)与放弃内网穿透的方法 DSTP论文阅读 flask的了解与使用股票预测的算法总之是做出了一个 ...
山东大学暑期项目实训-基于信用评分卡算法模型的个人信用评级系统的设计与实现-第四周-10（7月19日）
得出woe值和IV值后,通过柱状图对数据进行可视化输出.再自定义函数replace_woe,读取训练集,并将得到的woe值进行替换输出到新的文件WoeData里面.去除掉对因变量影响不明显的变量'Se ...
2022暑期项目实训（一）
一.开题我们小组的题目为:工业品组装缺陷检测,该题目由英特尔亚太研发有限公司提供,张建宇工程师进行指导. 6月21日中午,小组召开线上会议,对题目进行了分析.讨论,确定了多个需要向张老师请教的问题. ...
2022暑期项目实训（二）
一.前期工作安排 6月21日召开组会进行分工安排后,考虑到大家的知识储备和对项目的了解有一定差别,为保证6月25日能够顺利完成计划任务,小组在6月22日晚再次召开组会,每位成员汇报自己当天的工作进度, ...
暑期项目实训:基于webgl(three.js)的牙科数据可视化展示
第一天: 本组的选题是"牙科数据的分割与分类及可视化展示平台".工作主要划分成三块:前端平台页面搭建.算法与数据可视化.后端及数据库.我和另一个同学一起负责算法与数据可视化. 根据 ...
山东大学暑期项目实训——农产品智能推荐系统——第三周（1）
前端组分配四个任务.我主要负责农场品产量细则页面.月平均降水.月平均气温和价格比较页面. 农作物产量细则页面: 代码: <template><div class="moni ...

暑期项目实训7.19 论文复现+寻找并阅读新论文

暑期项目实训7.19 论文复现+寻找并阅读新论文相关推荐

最新文章

热门文章