多任务学习pytorch使用不同学习率同时训练多个网络的方法

多任务学习时需要多个网络一起训练，并设置不同的学习率，pytorch中有以下几种方法：

首先网络设置如下：

import torch# Encoder参数共享  Decoder分别训练
Encoder = SharedEncoder().cuda()
Dose_decoder = Dose_prediction().cuda()
Gra_decoder = Gradient_regression().cuda()criterion = torch.nn.MSELoss()
lr1 = 0.0002
lr2 = 0.0001

方法一：

# 使用三个优化器
opt1 = torch.optim.Adam(Encoder.parameters(), lr=lr1)
opt2 = torch.optim.Adam(Dose_decoder.parameters(), lr=lr1)
opt3 = torch.optim.Adam(Gra_decoder.parameters(), lr=lr2)Encoder.train()
Dose_decoder.train()
Gra_decoder.train()for input, label, gra_label, _ in tqdm.tqdm(train_dataloaders):inputs = input.cuda()labels = label.cuda()gra_labels = gra_label.cuda()opt1.zero_grad()opt2.zero_grad()opt3.zero_grad()conv1, conv2, conv3, conv4, center = Encoder(inputs)outputs = Dose_decoder(conv1, conv2, conv3, conv4, center)output_gra = Gra_decoder(conv1, conv2, conv3, conv4, center)loss_main = criterion(outputs, labels)loss_gra = criterion(output_gra, gra_labels)# 损失要加起来反向传播loss = 10 * loss_main + 5 * loss_graloss.backward()opt1.step()opt2.step()opt3.step()

方法二：

# 如果对某个网络不设置学习率，则使用最外层的lr
optimizer = torch.optim.Adam([{'params': Encoder.parameters()},{'params': Dose_decoder.parameters()},{'params': Gra_decoder.parameters()，'lr': lr2}], lr=lr1)

方法三：
使用python内置库itertools的chain方法

from itertools import chainoptimizer = torch.optim.Adam(params=chain(Encoder.parameters(), Dose_decoder.parameters(), Gra_decoder.parameters()), lr=0.0001)

多任务学习pytorch使用不同学习率同时训练多个网络的方法相关推荐

pytorch：如何从头开始训练一个CNN网络？
文章目录前言一.CNN? 二.用单批量测试模型 1.引入库 2.读入数据集 3. 建造Module实例 4. 训练总结前言在刚开始学习Deep Learning时,一件几乎不可能的事情就是知 ...
多任务学习 Pytorch实现
多任务学习MTL的简单实现,主要是为了理解MTL 代码写得挺烂的,有时间回来整理一下 import torch import torch.nn as nn import torchvision imp ...
多任务学习原理与优化
文章目录一.什么是多任务学习二.为什么我们需要多任务学习三.多任务学习模型演进 Hard shared bottom 硬共享 Soft shared bottom 软共享软共享: MOE &a ...
多任务学习（Multi-Task Learning, MTL）
目录 [显示] 1 背景 2 什么是多任务学习? 3 多任务学习如何发挥作用? 3.1 提高泛化能力的潜在原因 3.2 多任务学习机制 3.3 后向传播多任务学习如何发现任务是相关的 4 多任务学习可 ...
从零学习pytorch 第1课搭建一个超简单的网络
课程目录(在更新,喜欢加个关注点个赞呗): 从零学习pytorch 第1课搭建一个超简单的网络从零学习pytorch 第1.5课训练集.验证集和测试集的作用从零学习pytorch 第2课 Da ...
从零学习pytorch 第2课 Dataset类
课程目录(在更新,喜欢加个关注点个赞呗): 从零学习pytorch 第1课搭建一个超简单的网络从零学习pytorch 第1.5课训练集.验证集和测试集的作用从零学习pytorch 第2课 Da ...
综述翻译：多任务学习-An Overview of Multi-Task Learning in Deep Neural Networks
An Overview of Multi-Task Learning in Deep Neural Networks 文章目录 An Overview of Multi-Task Learning i ...
【阅读笔记】多任务学习之PLE(含代码实现)
本文作为自己阅读论文后的总结和思考,不涉及论文翻译和模型解读,适合大家阅读完论文后交流想法. PLE 一. 全文总结二. 研究方法三. 结论四. 创新点五. 思考六. 参考文献七. Pyt ...
8_用opencv调用深度学习框架tenorflow、Pytorch、Torch、caffe训练好的模型（20190212）
用opencv调用深度学习框架tenorflow.Pytorch.Torch.caffe训练好模型(20190212) 文章目录: https://blog.csdn.net/hust_bochu_x ...

多任务学习pytorch使用不同学习率同时训练多个网络的方法

多任务学习pytorch使用不同学习率同时训练多个网络的方法相关推荐

最新文章

热门文章