（Lightweight multi-scale aggregated residual attention networks for image super-resolution）阅读笔记

2024-07-04 05:16:38

轻量级多尺度残差注意力网络

Lightweight multi-scale aggregated residual attention networks for image super-resolution

摘要：本文提出了轻量级多尺度聚合残差注意力网络，这可以提取多尺度特征和分层特征。主要包含三个部分：浅层特征提取，多尺度聚合残差注意力组（MARAGs），多维特征融合模块（MLFFB），重建模块。MARAGs产生分层特征和多尺度特征，结合了多尺度残差注意力机制的MLFFB聚合多维特征。

综述，这些网络的缺点和未来的发展趋势。

上图介绍作者所做的贡献

综述了轻量级网络结构和注意力机制。

上面介绍网络的整体结构图和具体的公式表示。

这里重点是中间的多级递归MARAGs（为了获得高维特征），由图可以看到MARAG是由四个MARAB模块组成，MARAGs是参数共享的MARAG。

这里重点介绍了MARAB模块。这个模块是由三个模块组成的大模块。由多尺度聚合模块（MSAB）,残差通道注意力单元（RCAB）,空间注意力单元，一个卷积层和一个跳跃连接

由此可知，作者这个多尺度聚合残差模块的来历。作者是结合了文献【2】中的瓶颈结构和多尺度融合提出了MARB。

这里重点介绍了MARB模块。没看懂这里的组卷积操作。这里说1*1卷积可以减少通道数量和跨通道连接。

局部残差学习。

上面介绍了两个注意力模块。残差通道注意力模块是在原始的通道注意力模块上加入残差。空间注意力机制是借鉴文献【15】中的结构。

上面介绍了两个模块的连接方式。

上面介绍了这样连接的好处。

多维特征融合模块。它有三个模块组成。

这里介绍了三种常见的损失函数。每种损失函数都有优缺点。

小结以下：读到这里，可以发现作者的思路了。作者使用多尺度，递归，注意力机制三种方法构建整体的网络结构。其中MARB(多尺度特征聚合)是重点。两种注意力机制是引用别人的。所以以后阅读别人论文的时候一定要做笔记，关键的时候引入别人的成果加以改进。

实验部分

通常在实验部分会交代这样几件事情。模型的各种参数的设置。消融实验，为了验证提出的模块的有效性。对比实验，验证模型的效果。

这篇论文实验部分很详细，可以仔细研究以下。

（Lightweight multi-scale aggregated residual attention networks for image super-resolution）阅读笔记相关推荐

论文笔记：EGAT: Edge Aggregated Graph Attention Networks and Transfer Learning
文章目录论文概况摘要 1 介绍 2 方法 2.1 特征表示 2.1.1 蛋白质的图表示 2.1.3 边特征表示 2.2 EGAT的结构 2.2.2 边缘聚合图关注层 2.2.3 预测概率 2.2. ...
（CTC损失）Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记
ASR-R (CTC损失)Hybrid CTC/Attention Architecture for End-to-End Speech Recognition阅读笔记文章目录 ASR-R (CTC ...
CVPR 2020 HAN:《Hypergraph Attention Networks for Multimodal Learning》论文笔记
目录简介动机贡献方法实验简介本文提出了一种用于多模态学习的超图注意力网络,作者来自Kakao公司和首尔大学. Kakao公司的主要产品是Kakao talk,类似于国内的微信,且腾讯是其 ...
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation阅读笔记
RLA阅读笔记 (一) Title (二) Summary (三) Research Object (四) Problem Statement (五) Method 5.1 Layer Aggrega ...
论文笔记：EGAT: Edge Aggregated Graph Attention Networks and Transfer Learning Improve Protein-Protein In
文章目录一.摘要二.方法 (一).蛋白质图的表示 (二).节点级特征表示 (三).边级特征表示 (四). EGAT结构的主要特点 (五).边缘聚合图关注层 (六).在计算注意力分数时使用边缘特征 ...
NIPS 2017 | Attention is all you need | Transformer 阅读笔记（部分翻译）
Attention is all you need Author Unit: Google Brain, Google Research, University of Toronto Authors: ...
WWW2021 Interpreting and Unifying Graph Neural Networks with An Optimization Framework 阅读笔记
论文:interpreting and Unifying Graph Neural Networks with An Optimization Framework 代码: https://githu ...
Deep Cropping via Attention Box Prediction and Aesthetics Assessment -阅读笔记
Deep Cropping via Attention Box Prediction and Aesthetics Assessment-通过注意力框预测和美学评估进行深度裁剪摘要:我们将照片裁剪问 ...
FeUdal Networks for Hierarchical Reinforcement Learning 阅读笔记
FeUdal Networks for Hierarchical Reinforcement Learning 标签(空格分隔): 论文笔记增强学习算法 FeUdal Networks for Hi ...

最新文章

热门文章