文章信息

pkU wentaozhang（NDLS，GAMLP）

摘要

提出了节点自适应特征平滑(NAFS)，这是一种简单的非参数方法，在没有参数学习。NAFS首先通过特征平滑的方法提取每个节点及其不同跳跃的相邻节点的特征，然后将平滑后的特征自适应组合。此外，通过不同平滑策略提取平滑特征，可以进一步增强所构建的节点表示。我们在两种不同的应用场景下，在四个基准数据集上进行了实验。值得注意的是，具有特征集成的NAFS在这些任务上优于最先进的GNN，并减轻了大多数基于学习的GNN对应物的上述两个限制。

介绍

GNN的发展，过平滑+可扩展性不强（这里说里可扩展的方法 1. MLp的 2. sampling的）

方法

1. 引出过平滑

写作的trick，一般对于过平滑问题，都是一般选取一个度量的标准来说明节点之间的相似性随着网络层数加深，变得更加相似。这里是通过对比每一层的节点和稳态的特征之间的相似性，这里说的问题玄乎（到最后，实际上也就是每一层都和第一层的原始特征计算了 attention，只不过采用的是余弦，而不是 selfattention）

2. 度实验

这是本文另一个 trick，对pubmed进行度的划分，说明度节点越高的节点，过平滑的速度越快，因此要对于不同节点有着不同的聚合。

3.正式的方法

attention 计算： softmax 在个的距离度量之后。D采用余弦相似性，越和第一层相似，weight越大

权重是一个对角阵

与特征结合

整体框架，还是基于sign的一类，和他前面两篇类似，但这篇做了聚类和连接预测

4.

这里面作者还是用了一些trick：对于归一化邻接矩阵下手，不是采用GCN的那个对称的归一化
而是对 r 进行不同的 ensemble。 r 取不同的值，相应的名称也不同（对称归一化，随机游走转移，逆随机游走转移）

作者对于X生成了很多个特征，然后采用不同的聚合方式进行集成，提出来了他的几个变分 concat，mean，max

实验

由于连接预测，他的损失也是重构损失，作者说了可扩展性问题，存储邻接矩阵的花费

这篇也不算特别好的思路，就是各种特征集成与拼接，多个权重进行计算，作者提了3个变分 concat mean max。。这里也可以加入 attention的思想进行集成~

ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）相关推荐

Kaiming He论文阅读笔记三——Simple Siamese Representation Learning
Kaiming He大神在2021年发表的Exploring Simple Siamese Representation Learning,截至目前已经有963的引用,今天我们就一起来阅读一下这篇自监 ...
Exploring Simple Siamese Representation Learning论文笔记
写在前面大三狗随手记录,不喜勿喷. 主要思想 Siamese network常常被用来计算图像的两个增强之间的相似性,但可能会造成模型坍塌(即输出恒定).作者在本文提出了一个非常简单的Simple ...
对比学习simSiam（一）--Exploring Simple Siamese Representation Learning总体理解
1.从名字上把握 sim是我们熟知的相似的那个单词,这个Siam是孪生的意思,这里使用这个来命名应该是为了指出孪生的重要性.这里的核心其实是在提出一个思想,对比学习这种由孪生网络结构构成的无监督学习的 ...
Are Graph Augmentations Necessary? Simple Graph Contrastive Learning for Recommendation
补充:特征对齐.均匀分布 Embedding里能够保留更多个性化的信息,这又代表什么呢?举个例子,比如有两张图片,都是关于狗的,但是一张是在草地上跑的黑狗,一张是在水里游泳的白狗.如果在投影成Embe ...
SimSiam：Exploring Simple Siamese Representation Learning
Siamese网络最大化了一个图像的两个增强之间的相似性,服从于避免崩溃解的某些条件.在本文中,SimSiam即使不使用以下任何一项也可以学习有意义的表示:(i)负样本对,(ii)大批量,(iii)动 ...
深度学习(自监督:SimSiam)——Exploring Simple Siamese Representation Learning
文章目录前言 SimSiam简述实验前言该文章是何凯明组发表于CVPR2021上的文章,目前已获得最佳论文提名,主要解决自监督对比学习中的奔溃解问题.奔溃解即不论什么输入,特征提取器输出的特征 ...
Simple Yet Effective Graph Contrastive Learning for Recommendation
1. 摘要图神经网络(GNN)是一种强大的基于图的推荐系统学习方法.最近,结合对比学习的gnn在处理高度稀疏数据时,在数据增强方案的推荐方面表现出了优异的性能.尽管它们取得了成功,但大多数现有的 ...
A Simple Framework for Contrastive Learning of Visual Representations
A Simple Framework for Contrastive Learning of Visual Representations Abstract 本文提出了一个简单的视觉表征对比学习框架- ...
ECCV2022论文列表（中英对照）
Paper ID Paper Title 论文标题 8 Learning Uncoupled-Modulation CVAE for 3D Action-Conditioned Human Motio ...
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
来源:AINLPer微信公众号(点击了解一下吧) 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21 2020年的ICLR会议将于今年的4月26日-4月30日在Mil ...

ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）

文章信息

摘要

介绍

方法

1. 引出过平滑

2. 度实验

3.正式的方法

4.

实验

这篇也不算特别好的思路，就是各种特征集成与拼接，多个权重进行计算，作者提了3个变分 concat mean max。。这里也可以加入 attention的思想进行集成~

ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）相关推荐

最新文章

热门文章

ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）

文章信息

摘要

介绍

方法

1. 引出过平滑

2. 度 实验

3.正式的方法

4.

实验

这篇 也不算 特别好的思路，就是各种特征集成与 拼接，多个权重进行计算，作者提了3个变分 concat mean max。。这里也可以加入 attention的思想进行集成~

ICML22：NAFS: A SIMPLE YET TOUGH-TO-BEAT BASELINE FOR GRAPH REPRESENTATION LEARNING（ICLR22转投）相关推荐

最新文章

热门文章

2. 度实验

这篇也不算特别好的思路，就是各种特征集成与拼接，多个权重进行计算，作者提了3个变分 concat mean max。。这里也可以加入 attention的思想进行集成~