talk

这篇文章是GRACE的改进工作，通过不同的重要性来进行 掩码， 具体就是 通过节点重要性 来更倾向于丢弃 不重要的节点，重要性度量的三种方式：度中心性，特征向量中心性，pagerank中心性。 这里我开始觉得 这样相比较随机掩码，如果丢弃的都是不重要的节点，这没有随机性，有鲁棒性吗？模型会不会学得单一的模式。作者这里的论点是 认为这样 丢弃 能保留重要结构，使得原图语义不要发生太大变化，不去丢很重要边或特征，使得图直接被破坏。 特征上，不同重要性对于节点的每一维特征进行掩码，这里作者是以噪声作为论点。

1.model

具体的细节都是和GRACE类似的，related work的语句都是照搬自己的GRACE。 损失和网络结构完全是一样的。

2. 两处改动

2.1 掩码A，丢弃边

这里的pe就是每个边 丢弃的概率，在GRACE中 是 固定的参数，从伯努利分布中采样出来。

2.1.1 本文改进：通过节点中心性

定义： 边的中心性=所连接两个节点的中心性。 无向图是两个节点求和取平均，有向图是所指向的target节点的重要性（这里引出一篇文章18年oxford出版的一个)来佐证。

计算出之后，因为节点中心性和 节点的度一样可能在不同尺度上vary很大，因此 采用log 减缓节点有很多边的影响， 这里是 上一步求出的是 一个正数，采用log平滑，

之后 进行正则化，放缩到概率上，同时采用pt来截断，防止概率过大破坏图结构。

这里的pe是一个超参数，类似于GRACE的超参数，前面这一项就是 adaptive的权重

2.1.2 三种中心性度量

2.2 掩码X，丢弃部分特征（部分维度被掩盖）

从伯努利分布采样随机向量来掩码，这里对于每一个节点 都存在不同的掩码，但是mi 都是通过pif计算的，pif对于所有节点那维度都一样

和丢弃边的思路很像

自己定义：每个节点维度的重要性

pif应该反映 节点第i维度的重要性

这里算出来的是 所有节点 的 维度重要性，因此 7式第二项是 每个节点的重要性， 第一项是 每个节点中 每一维度的重要性，算出来就是数据集整体上 每一个维度 的重要性（所有节点每一维度加权）

稀疏特征（one-hot）： xui是指示向量，比如词袋向量中 哪一维度 存在特征，哪一个维度就是1

对于密集的特征，每一维不是 one-hot，采用value的绝对值

下面采用： 平滑+正则+截断和 A处理的一样

3. 实验

trian等的划分

两层GCN

这里并没有采用 cora那三个，不知道是否是实验效果不行
因此我从 SUGRL（AAAI22）找出两个方法，cora效果不行，但是后面有上有下，因此原作者应该是进行了选择。

WWW21 GCA： Graph Contrastive Learning with Adaptive Augmentation相关推荐

1. Graph Contrastive Learning with Adaptive Augmentation

   摘要 对比学习在无监督图表示学习中取得了很好的效果,大部分图对比学习首先对输入图做随机增强生成两个视图然后最大化两个视图表示的一致性.其中,图上的增强方式是非常重要的部分鲜有人探索.我们认为数据增强模 ...

2. 论文阅读：Graph Contrastive Learning with Augmentations

   Abstract 图结构数据上的广义.可转移和鲁棒表示学习仍然是当前图神经网络(GNNs)面临的一个挑战.与用于图像数据的卷积神经网络(CNNs)不同,对gnn的自我监督学习和预训练的探索较少.在本文 ...

3. 文献阅读（73）AAAI2022-SAIL: Self Augmented Graph Contrastive Learning

   本文是对<SAIL: Self Augmented Graph Contrastive Learning>一文的总结,如有侵权即刻删除. 朋友们,我们在github创建了一个图学习笔记库, ...

4. Let Invariant Rationale Discovery Inspire Graph Contrastive Learning

   Let Invariant Rationale Discovery Inspire Graph Contrastive Learning 1. 摘要   主流图对比学习(GCL)方法以两种方式进行图增 ...

5. [2021] Spatio-Temporal Graph Contrastive Learning

   21-Spatio-Temporal Graph Contrastive Learning 郑宇.梁玉轩 1 摘要 深度学习模型是时空图(STG)预测的现代工具.尽管它们很有效,但它们需要大规模的数据 ...

6. 文献阅读：SimCSE：Simple Contrastive Learning of Sentence Embeddings

   文献阅读:SimCSE:Simple Contrastive Learning of Sentence Embeddings 1. 文献内容简介 2. 主要方法介绍 3. 主要实验介绍 1. STS ...

7. 文献阅读：SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples

   文献阅读:SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples 1. 内 ...

8. 自监督学习系列（二）：基于 Contrastive Learning

   对⽐学习属于⾃监督学习,所以对⽐学习是没有标签的.对⽐学习是通过构造正负样例来学习特征,如何构造正负样例对对⽐学习来说很重要. 对于⼀个输⼊样本x来说,存在与之相似的样本x+以及与之不相似的样本x-, ...

9. GeniePath：Graph Neural Networks with Adaptive Receptive Paths 论文详解 AAAI2019

   文章目录 1 相关介绍 1.1 感受野的定义 贡献 2 图卷积网络GCN GCN.GraphSAGE.GAT Discussions 3 GeniePath 3.1 Permutation Invar ...

最新文章

1. 【模板】Dijkstra
2. Reverse Vowels of a String
3. VTK：图表之ConstructTree
4. java什么是网络接口_java 网络编程 -- IP地址的表示与网络接口信息的获取（InetAddress和NetworkInterface）...
5. 最容易进的大厂工作，百度经典百题
6. 流程一改,魔鬼变天使
7. esper（4-2）-Category Context
8. Comparable与Comparator对比
9. iOS开发之runtime的运用-获取当前网络状态
10. （丘维声）高等代数课程笔记：商空间
11. 【安全狗高危安全通告】2月“微软补丁日” 发布多个高危漏洞
12. 我是这样搞懂一个神奇的BUG
13. linux c语言乘法口诀表好记方法,乘法口诀表好记方法
14. golang 实现数据结构-顺序表
15. YOLOv3源码解析2-数据预处理Dataset()
16. 六款好用的Mac最流行的开发工具，程序员必看~
17. DNS服务器全攻略之一：基础介绍（区域委派 ）
18. html 标签 转码 解码
19. 函数解析|memset()函数的原理
20. 为什么说大公司不是天堂，里面有哪些坑？

热门文章

1. stick和stuck的区别_continuance
2. element的popover弹框中有选择器，点击后popover消失的解决办法
3. android的sdk离线安装详细教程,Android编程之SDK安装组件的离线安装方法分享
4. 华清远见重庆中心——Java面向对象阶段技术总结/个人总结
5. 逃离大厂的年轻人：下班后能看到太阳了
6. midjourney——轻松创作气球设计的数字绘图软件
7. 【解析】摩拜的智能锁到底输在哪里？
8. 比特币 事务ID txID transaction hash怎么计算
9. 递归理解以及时间复杂度计算
10. 【雕爷学编程】Arduino动手做（137）---MT8870语音解码