pytorch 实现 GRL Gradient Reversal Layer

在GRL中，要实现的目标是：在前向传导的时候，运算结果不变化，在梯度传导的时候，传递给前面的叶子节点的梯度变为原来的相反方向。举个例子最好说明了：

import torch
from torch.autograd  import  Functionx = torch.tensor([1.,2.,3.],requires_grad=True)
y = torch.tensor([4.,5.,6.],requires_grad=True)z = torch.pow(x,2) + torch.pow(y,2)
f = z + x + y
s =6* f.sum()print(s)
s.backward()
print(x)
print(x.grad)

这个程序的运行结果是：

tensor(672., grad_fn=<MulBackward0>)
tensor([1., 2., 3.], requires_grad=True)
tensor([18., 30., 42.])

这个运算过程对于tensor中的每个维度上的运算为：

$f(x)=(x^{2}+x)*6$

那么对于x的导数为：

$\frac{\mathrm{d} f}{\mathrm{d} x} = 12x+6$

所以当输入x=[1,2,3]时，对应的梯度为：[18,30,42]

因此这个是正常的梯度求导过程，但是如何进行梯度翻转呢？很简单，看下方的代码：

import torch
from torch.autograd  import  Functionx = torch.tensor([1.,2.,3.],requires_grad=True)
y = torch.tensor([4.,5.,6.],requires_grad=True)z = torch.pow(x,2) + torch.pow(y,2)
f = z + x + yclass GRL(Function):def forward(self,input):return inputdef backward(self,grad_output):grad_input = grad_output.neg()return grad_inputGrl = GRL()s =6* f.sum()
s = Grl(s)print(s)
s.backward()
print(x)
print(x.grad)

运行结果为：

tensor(672., grad_fn=<GRL>)
tensor([1., 2., 3.], requires_grad=True)
tensor([-18., -30., -42.])

这个程序相对于上一个程序，只是差在加了一个梯度翻转层：

class GRL(Function):def forward(self,input):return inputdef backward(self,grad_output):grad_input = grad_output.neg()return grad_input

这个部分的forward没有进行任何操作，backward里面做了.neg()操作，相当于进行了梯度的翻转。在torch.autograd 中的FUnction 的backward部分，在不做任何操作的情况下，这里的grad_output的默认值是1.

pytorch 实现 GRL Gradient Reversal Layer相关推荐

笔记： Gradient Reversal Layer (unsupervised domain adaptation by backpropagation. ICML 2015)
paper: Ganin, Yaroslav, and Victor Lempitsky. "Unsupervised domain adaptation by backpropagatio ...
pytorch实现梯度反转层(Gradient Reversal Layer)（正确代码）
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一 ...
PyTorch框架学习十八——Layer Normalization、Instance Normalization、Group Normalization
PyTorch框架学习十八--Layer Normalization.Instance Normalization.Group Normalization 一.为什么要标准化? 二.BN.LN.IN. ...
PyTorch中常用Module和Layer的学习笔记~
1 前言今天在学习PyTorch对于VGG网络的官方实现,朱老师在上课的时候也讲了, 不过感觉自己记得还是不是很牢,所以想写个笔记记录一下~ 2 常用Module和Layer nn.Conv2d 这 ...
0-6岁宝宝发育指导Android
育儿专家推荐 "0-6岁宝宝发育指导Android"宝宝成长的每个阶段都有具体的发育指标,家长们可以根据这些指标评判自己孩子的发育情况,并做些辅助工作,让宝宝健康成长应用描述: ...
域对抗（域适应）训练
1. 引入在传统监督学习中,我们经常需要大量带标签的数据进行训练,并且需要保证训练集和测试集中的数据分布相似.如果训练集和测试集的数据具有不同的分布,训练后的分类器在测试集上就没有好的表现.这种情况 ...
[Tensorflow2] 梯度反转层(GRL)与域对抗训练神经网络(DANN)的实现
文章目录概述原理回顾 (可跳过) GRL 层实现使用 GRL 的域对抗(DANN)模型实现 DANN 的使用案例 !!! 后记概述域对抗训练(Domain-Adversarial Train ...
【深度域适配】一、DANN与梯度反转层（GRL）详解
CSDN博客原文链接:https://blog.csdn.net/qq_30091945/article/details/104478550 知乎专栏原文链接:https://zhuanlan.zhi ...
【深度域自适应】一、DANN与梯度反转层（GRL）详解
前言在当前人工智能的如火如荼在各行各业得到广泛应用,尤其是人工智能也因此从各个方面影响当前人们的衣食住行等日常生活.这背后的原因都是因为如CNN.RNN.LSTM和GAN等各种深度神经网络的强大性能 ...

pytorch 实现 GRL Gradient Reversal Layer

pytorch 实现 GRL Gradient Reversal Layer相关推荐

最新文章

热门文章