pytorch Cosine Annealing LR

Cosine Annealing LR

torch.optim.lr_scheduler.CosineAnnealingLR(optimizer,T_max,eta_min=0,last_epoch=-1)

这个学习率策略就是说，学习率以余弦函数的趋势进行变换。

T_max ：

用于设置半个周期的长度。如T_max=50的话，则学习率的变化情况为：在epoch0的时候，学习率是设置最大值；epoch0 ~ epoch50时，以余弦型式由设置的最大值下降到设置的最小值；epoch50 ~ epoch100，又由设置的最小值逐渐上升到设置的最大值。
eta_min：学习率可以下降到的最小值。
last_epoch：前一轮是epoch几，用于确定当前轮的学习率。-1的话，表示当epoch是0。

ps：学习率的最大值是在optimizer中设置的那个值。

eg：下面的代码表示学习率在[0, 0.01]内以半周期为50的余弦函数形式进行变化。

optimizer = optim.Adam(net.parameters(), lr=0.01)
lr_scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=50, eta_min=0)

pytorch Cosine Annealing LR相关推荐

【学习率调整】学习率衰减之周期余弦退火（cyclic cosine annealing learning rate schedule）
1. 概述在论文<SGDR: Stochastic Gradient Descent with Warm Restarts>中主要介绍了带重启的随机梯度下降算法(SGDR),其中就引入了 ...
Cosine Annealing Warm Restart论文讲解
SGDR: STOCHASTIC GRADIENT DESCENT WITH WARM RESTARTS 论文地址:https://arxiv.org/abs/1608.03983 需要注意的是,本文 ...
pytorch常用代码
20211228 https://mp.weixin.qq.com/s/4breleAhCh6_9tvMK3WDaw 常用代码段本文代码基于 PyTorch 1.x 版本,需要用到以下包: impo ...
PyTorch Cookbook（常用代码合集）
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale学习作者:张皓,南京大学,编辑:机器学习实验室众所周知,程序猿在写代码时通 ...
收藏！PyTorch常用代码段合集
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:Jack Stark,来源:极市平台来源丨https://zhu ...
PyTorch常用代码段合集
↑ 点击蓝字关注视学算法作者丨Jack Stark@知乎来源丨https://zhuanlan.zhihu.com/p/104019160 极市导读本文是PyTorch常用代码段合集,涵盖基本 ...
PyTorch常用代码段整理合集，建议收藏！
点击上方,选择星标或置顶,每天给你送干! 阅读大概需要12分钟跟随小博主,每天进步一丢丢张皓:南京大学计算机系机器学习与数据挖掘所(LAMDA)硕士生,研究方向为计算机视觉和机器学习,特别是视觉识 ...
PyTorch 常用代码段示例整理
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达众所周知,程序猿在写代码时通常会在网上搜索大量资料,其中大部分是代 ...
PyTorch Cookbook（常用代码段集锦）
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达来自 | 知乎作者 | 张皓链接 | https://zh ...
【深度学习】PyTorch常用代码段合集
来源 | 极市平台,机器学习算法与自然语言处理本文是PyTorch常用代码段合集,涵盖基本配置.张量处理.模型定义与操作.数据处理.模型训练与测试等5个方面,还给出了多个值得注意的Tips,内容非常 ...

pytorch Cosine Annealing LR

pytorch Cosine Annealing LR相关推荐

最新文章

热门文章