pytorch踩坑日记

昨天使用pytorch写一个程序，程序写完之后却一直不能正确运行，今天定位到了代码的问题所在：
我的代码其中有一处逻辑是这样的:

……
get a # 这里的a就是我想反向求导更新的参数
b=torch.nonzero(a)  # 得到a里面所有不为0的下标for i,j in b:feature_i=feature[i]feature[j]=feature[j]……get c  # 通过b中的元素下标得到一个cc->loss  # c经过一系列操作得到了loss

之后loss反向求导发现a的梯度一直是0，这是因为我只用到了a中不为0元素的下标，根本就没有用到a这个矩阵，此时的计算图应该是这样的:

b->c->loss

因为a->b根本没有产生梯度关系，所以计算图肯定不能反向传导到a。

以后写代码要思考计算图的建立

pytorch踩坑日记相关推荐

Pytorch踩坑记录：关于用net.eval()和with no grad装饰器计算结果不一样的问题
Pytorch踩坑记录相同点 net.eval()和with toch.no_grad()的相同点:都停止反向传播不同点: 1.net.eval() 用net.eval(),此时BN层会用训练时的 ...
全志哪吒D1-H Tina Linux Ubuntu 22.04入门踩坑日记
哪吒D1-H Tina Linux入门踩坑日记系统环境源码编译 mklibs-readelf的C++标准问题 m4的SIGSTKSZ问题 libfakeroot的_STAT_VER问题 read_ ...
Win11 + Ubuntu18.04 双系统踩坑日记
Win11 + Ubuntu18.04 双系统踩坑日记前言准备工作硬件配置镜像下载 Win11镜像下载 Ubuntu镜像下载启动盘准备 Win11启动盘 Ubuntu启动盘 Win11安装 ...
【Flutter混合开发踩坑日记之‘applicationVariants‘ for extension ‘android‘】
Flutter混合开发踩坑日记之'applicationVariants' for extension 'android' 正文坑一:Could not get unknown property ' ...
Swarm-BZZ踩坑日记之如何让METMASK小狐狸显示gbzz
刚入门bzz的新手还不知道小狐狸是什么的请移步上一章节:Swarm-BZZ踩坑日记之如何在METMASK小狐狸导入节点地址在浏览器安装好小狐狸,并添加自己的钱包地址后会发现只显示ETH,并不显示 ...
ReactNative 在丁香医生项目中引入的踩坑日记
ReactNative 在丁香医生项目中引入的踩坑日记 this没绑定到函数导致空指针参考 React-Native 踩坑第二弹-undefined is not a function(evalua ...
springboot踩坑日记—nacos: Error watching Nacos Service change
springboot踩坑日记-nacos: Error watching Nacos Service change Spring Boot :: (v2.1.5.RELEASE) 错误代码: 07-3 ...
微信小程序踩坑日记-微信小程序首次加载样式错乱问题
微信小程序踩坑日记-微信小程序首次加载样式错乱问题在实际开发项目中,遇到了个棘手的问题,就是在某些因素下,进入小程序发现有些样式发生偏移.错乱等问题问题原因:-未知(估计是组件的问题) ↓ 解决办 ...
c++字符串操作之std::ostringstream踩坑日记
c++字符串操作之std::ostringstream踩坑日记在开发过程中经常会遇到字符串操作,而std::string又没有format操作,这就很难受了. 于是我找到了std::ostrings ...

pytorch踩坑日记

pytorch踩坑日记相关推荐

最新文章

热门文章