pytorch学习（一）pytorch中的断点续训

1. 设置断点续训的目的

在遇到停电宕机，设备内存不足导致实验还没有跑完的情况下，如果没有使用断点续训，就需要从头开始训练，耗时费力。
断点续训主要保存的是网络模型的参数以及优化器optimizer的状态（因为很多情况下optimizer的状态会改变，比如学习率的变化）

2. 设置断点续训的方法

参数设置
resume: 是否进行续训
initepoch: 进行续训时的初始epoch
checkpoint载入过程（这部分操作放在epoch循环前边）

resume = True      # 设置是否需要从上次的状态继续训练if resume:if os.path.isfile("results/{}_model.pth".format(save_name_pre)):print("Resume from checkpoint...")checkpoint = torch.load("results/{}_model.pth".format(save_name_pre))model.load_state_dict(checkpoint['model_state_dict'])optimizer.load_state_dict(checkpoint['optimizer_state_dict'])initepoch = checkpoint['epoch'] + 1print("====>loaded checkpoint (epoch{})".format(checkpoint['epoch']))else:print("====>no checkpoint found.")initepoch = 1   # 如果没进行训练过，初始训练epoch值为1

每一轮，checkpoint的存储过程，保存模型参数，优化器参数，轮数（这部分操作放在epoch循环里边）

# 保存断点if test_acc_1 > best_acc:best_acc = test_acc_1checkpoint = {"model_state_dict": model.state_dict(),"optimizer_state_dict": optimizer.state_dict(),"epoch": epoch}path_checkpoint = "results/{}_model.pth".format(save_name_pre)torch.save(checkpoint, path_checkpoint)

pytorch学习（一）pytorch中的断点续训相关推荐

断点续训 Pytorch 和 Tensorflow 框架 VGG16 模型猫狗大战鸢尾花分类
神经网络训练模型的过程中,如果程序突然中断,竹篮打水一场空? >>>断点续训来解决! 目录 (1)Pytorch框架的断点续训(猫狗大战) (2)Tensorflow框架的断点续训( ...
Pytorch学习 - Task5 PyTorch卷积层原理和使用
Pytorch学习 - Task5 PyTorch卷积层原理和使用 1. 卷积层 (1)介绍 (torch.nn下的) 1) class torch.nn.Conv1d() 一维卷积层 2) clas ...
Pytorch学习 - Task6 PyTorch常见的损失函数和优化器使用
Pytorch学习 - Task6 PyTorch常见的损失函数和优化器使用官方参考链接 1. 损失函数 (1)BCELoss 二分类计算公式小例子: (2) BCEWithLogitsLoss ...
PyTorch学习记录——PyTorch进阶训练技巧
PyTorch学习记录--PyTorch进阶训练技巧 1.自定义损失函数 1.1 以函数的方式定义损失函数 1.2 以类的方式定义损失函数 1.3 比较与思考 2.动态调整学习率 2.1 官方提供的s ...
tensorflow1运用模型断点续训、恢复图和进行预测
前言本文是代码根据吴恩达深度学习第四课程第一周第二节作业图像分类识别修改而成,会简单介绍一下项目流程,然后介绍tensorflow1保存模型的两种方法,以及如何用模型预测. 项目流程简单介绍这里直 ...
【神经网络扩展】：断点续训和参数提取
课程来源:人工智能实践:Tensorflow笔记2 文章目录前言断点续训主要步骤参数提取主要步骤总结前言本讲目标:断点续训,存取最优模型:保存可训练参数至文本断点续训主要步骤读取模型: ...
kera TensorBoard的可视化和断点续训同时处理
一.实现可视化的步骤 ① 从keras.callbacks中导入Tensorboard类 from keras.callbacks import TensorBoard ② 在model.fit中添加 ...
PyTorch学习记录——PyTorch生态
Pytorch的强大并不仅局限于自身的易用性,更在于开源社区围绕PyTorch所产生的一系列工具包(一般是Python package)和程序,这些优秀的工具包极大地方便了PyTorch在特定领域的使 ...
速成pytorch学习——4天中阶API示范
使用Pytorch的中阶API实现线性回归模型和和DNN二分类模型. Pytorch的中阶API主要包括各种模型层,损失函数,优化器,数据管道等等. 一,线性回归模型 1,准备数据 import nu ...

pytorch学习（一）pytorch中的断点续训

1. 设置断点续训的目的

2. 设置断点续训的方法

pytorch学习（一）pytorch中的断点续训相关推荐

最新文章

热门文章