该文章是对
https://blog.csdn.net/MaXumr/article/details/119540804
这篇博文的一个修正。
这篇博文讲的没问题，但是贴的测试代码有问题。因此重新写了一个测试代码。

把下面的代码运行即可。

def check_GRL():'''检查GRL层的有效性。:return:'''from torch.autograd import Functionfrom typing import Any, Optional, Tupleimport torch.nn as nnimport torchimport torch.nn.functional as F## 定义梯度反转函数class GradientReverseFunction(Function):"""重写自定义的梯度计算方式"""@staticmethoddef forward(ctx: Any, input: torch.Tensor, coeff: Optional[float] = 1.) -> torch.Tensor:ctx.coeff = coeffoutput = input * 1.0return output@staticmethoddef backward(ctx: Any, grad_output: torch.Tensor) -> Tuple[torch.Tensor, Any]:return grad_output.neg() * ctx.coeff, Noneclass GRL_Layer(nn.Module):def __init__(self):super(GRL_Layer, self).__init__()def forward(self, *input):return GradientReverseFunction.apply(*input)class NormalClassifier(nn.Module):def __init__(self, num_features, num_classes):super().__init__()self.linear = nn.Linear(num_features, num_classes)self.grl = GRL_Layer()def forward(self, x):return self.linear(x)def grl_forward(self,x):x = self.linear(x)x = self.grl(x)return xnet1 = NormalClassifier(3, 6)net2 = NormalClassifier(6, 10)net3 = NormalClassifier(10, 2)data = torch.rand((4, 3))label = torch.ones((4), dtype=torch.long)out = net3(net2(net1(data)))loss = F.cross_entropy(out, label)loss.backward()print("第一次前向传播，没有GRL层")print('net1.linear.weight.grad', net1.linear.weight.grad)print('net2.linear.weight.grad', net2.linear.weight.grad)print('net3.linear.weight.grad', net3.linear.weight.grad)#############3print("第二次前向传播，没有GRL层")net1.zero_grad()net2.zero_grad()net3.zero_grad()out = net3(net2(net1(data)))loss = F.cross_entropy(out, label)loss.backward()print('net1.linear.weight.grad', net1.linear.weight.grad)print('net2.linear.weight.grad', net2.linear.weight.grad)print('net3.linear.weight.grad', net3.linear.weight.grad)print("第一二次，梯度相同。 证明当X输入不变的时候，对于同一个loss值，计算的梯度数值总是相同。")print("第三次： -------- 验证GRL")net1.zero_grad()net2.zero_grad()net3.zero_grad()out = net3(net2(net1.grl_forward(data)))  ## 这里 net1先经过 linear，再经过GRL## 网络前向： Net1--->  GRL ---> net2--->  net3## 网络反向：  net3---->  net2 ----> GRL--->  net1loss = F.cross_entropy(out, label)loss.backward()print('net1.linear.weight.grad', net1.linear.weight.grad)print('net2.linear.weight.grad', net2.linear.weight.grad)print('net3.linear.weight.grad', net3.linear.weight.grad)print("可以看到 第三次打印的net1的梯度和第一次 互反")

欢迎使用Markdown编辑器

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法¹ 功能；
6. 增加了 多屏幕编辑 Markdown文章功能；
7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

创建一个自定义列表

Markdown

Text-to- HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ ( n ) = ( n − 1 ) ! ∀ n ∈ N \Gamma(n) = (n-1)!\quad\forall n\in\mathbb N Γ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ ( z ) = ∫ 0 ∞ t z − 1 e − t d t . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

pytorch实现梯度反转层(Gradient Reversal Layer)（正确代码）相关推荐

1. [Tensorflow2] 梯度反转层(GRL)与域对抗训练神经网络(DANN)的实现

   文章目录 概述 原理回顾 (可跳过) GRL 层实现 使用 GRL 的域对抗(DANN)模型实现 DANN 的使用案例 !!! 后记 概述 域对抗训练(Domain-Adversarial Train ...

2. 【深度域适配】一、DANN与梯度反转层（GRL）详解

   CSDN博客原文链接:https://blog.csdn.net/qq_30091945/article/details/104478550 知乎专栏原文链接:https://zhuanlan.zhi ...

3. 【深度域自适应】一、DANN与梯度反转层（GRL）详解

   前言 在当前人工智能的如火如荼在各行各业得到广泛应用,尤其是人工智能也因此从各个方面影响当前人们的衣食住行等日常生活.这背后的原因都是因为如CNN.RNN.LSTM和GAN等各种深度神经网络的强大性能 ...

4. 笔记： Gradient Reversal Layer (unsupervised domain adaptation by backpropagation. ICML 2015)

   paper: Ganin, Yaroslav, and Victor Lempitsky. "Unsupervised domain adaptation by backpropagatio ...

5. 【深度域自适应】DANN梯度反转层（GRL）理解

   加入GRL的目的是为了让领域判别器和特征提取器之间形成一种对抗.先不管标签分类器,领域判别器就是GAN里的判别器,目的就是区分出real(目标域)与fake(源域),所以领域判别器的目的同样也是最小化 ...

6. pytorch 实现 GRL Gradient Reversal Layer

   在GRL中,要实现的目标是:在前向传导的时候,运算结果不变化,在梯度传导的时候,传递给前面的叶子节点的梯度变为原来的相反方向.举个例子最好说明了: import torch from torch.au ...

7. LASSO近端梯度下降法Proximal Gradient Descent公式推导及代码

   文章目录 LASSO by Proximal Gradient Descent Proximal Gradient Descent Framework近端梯度下降算法框架 Proximal Gradi ...

8. pytorch 梯度累积（gradient accumulation）

   梯度累积 - gradient accumulation 在深度学习训练的时候,数据的batch size大小受到GPU内存限制,batch size大小会影响模型最终的准确性和训练过程的性能.在GP ...

9. 深度学习笔记--pytorch从梯度下降到反向传播BP到线性回归实现，以及API调用和手写数据集的实现

   梯度下降和反向传播 目标 知道什么是梯度下降 知道什么是反向传播 1. 梯度是什么? 梯度:是一个向量,导数+变化最快的方向(学习的前进方向) 回顾机器学习 收集数据 x x x ,构建机器学习模型 ...

最新文章

1. 1084 Broken Keyboard
2. opencv播放器和摄像头视频播放
3. SWIG，C#沟通Ｃ＋＋的桥梁
4. Cache系列：spring-cache简单三步快速应用ehcache3.x-jcache缓存（spring4.x）
5. Ubuntu16.04 配置vnc4server
6. 这一年的猫粮，我们承包了！CATCODER程序员晒猫大赛正式开启！
7. eclipse开发java程序，断点调试
8. 《花落红尘》：对两性社会非爱即恨的文学消解
9. JavaFX UI控件教程（二十）之HTML Editor
10. usb接口linux系统设计,AUFS 联合文件系统 - 基于USB接口的微型桌面Linux系统设计
11. git reset后本地拉取_Git 代码防丢指南
12. call,apply学习笔记
13. c语言注释换颜色,C语言实现注释转换
14. 8. Mac brew usage and php version
15. web大作业：基于html+css+javascript+jquery实现智能分控网站
16. UCanCode Visio 2022发布--专业--免费-绿色
17. GD32F303x U盘使用
18. 怎么理解java面向对象
19. 数学建模层次分析法例题及答案_数学建模之层次分析法
20. 【Hadoop】之 实验一（过滤、合并文件）

热门文章

1. 游戏中文本中间的下划线
2. C语言中char *p=“abcde“的意义
3. 经纬度表示方法及精度
4. 数组：矩阵快速转置 矩阵相加 三元组顺序表/三元矩阵 随机生成稀疏矩阵 压缩矩阵【C语言，数据结构】（内含源代码）
5. element-ui的el-table表格错位问题
6. 用real vnc连接服务器
7. cmd xcopy 拷贝文件夹_xcopy 实现批处理拷贝文件或文件夹
8. 计算机账户用户区别与联系,Windows系统管理员账户和普通账户的详细权限区别有哪些？...
9. 关于java中空指针异常的原因及解决方法
10. python操作execl常用方法总结