TD3学习算法，reward到后期开始减小

最近用TD3做一个仿真，不论我怎么修改参数，总是前期奖励比较正常地在增大，到后面奖励就开始下降（这张图是迭代次数比较少的情况，不算特别明显，有时候一直迭代到>1000次，奖励都是下降的趋势）

我参考了一些建议，有博主分析可能是学习率太大或者奖励设置不合理，我后面修改过学习率和奖励，但没什么变化，最后是想起TD3有引入噪声，我之前那版没有噪声是没有衰减的，加入噪声衰减然后得到了下面的效果，基本达到了我需要的收敛效果，当然这个图里面收敛比较快，因为输入数据不一样，有时候收敛也比较慢

总结：
当然，我觉得噪声衰减这个方法可能有一定的前提，首先我的学习率是设置了衰减，奖励也是在我反复调整很多次之后得到的，所以总体效果还可以，如果其他参数还很有问题的情况下，不一定会有这个效果。

我也只是新手，至于用在其他模型上的效果怎么样我不太好说，但可以作为一个尝试的手段；
另外就是，我引用的他人的代码，对于网络结构和初始化参数基本没修改，但跑出来效果还行，然后针对具体问题微调，最重要的可能还是你自己的模型是否合理，比如我有好几次遇到瓶颈都是因为我将自己的模型环境套进去时，有几处小错误，而不是学习算法本身的参数问题

TD3学习算法，reward到后期开始减小相关推荐

Twin Delayed DDPG(TD3)-强化学习算法
文章目录 Background Quick Facts Key Equations Exploration vs. Exploitation Pseudocode Documentation Back ...
只用1/500数据就打败人类！一种采样高效的强化学习算法 | 报告详解
[栏目:前沿进展]近日,清华大学交叉信息研究院高阳研究组在强化学习领域中取得突破,研究组所提出的模型EfficientZero首次在雅达利(Atari )游戏数据上超过同等游戏时长的人类平均水平.Ef ...
一文梳理深度学习算法演进
来源:https://zhuanlan.zhihu.com/p/464515049 作者:Peter潘欣编辑:蘑菇先生学习记涉及语音.图像.nlp.强化学习.隐私保护.艺术创作.目标检测.医疗.压 ...
【强化学习】什么是强化学习算法？
[强化学习]什么是强化学习算法? 一.强化学习解决什么问题? 二.强化学习如何解决问题? 2.1.强化学习的基本框架 2.2.强化学习系统的要素 2.3.强化学习与监督学习的区别 2.4.强化学习与非 ...
回顾6年深度学习算法实践和演进
作者:Peter(滑铁卢大学计算机) 原文链接:https://zhuanlan.zhihu.com/p/464515049 本文转载自知乎,著作权归属原作者,如有侵权,请联系删文. 01 前言如 ...
如何提高强化学习算法模型的泛化能力?
深度强化学习实验室官网:http://www.neurondance.com/ 来源:https://zhuanlan.zhihu.com/p/328287119 作者:网易伏羲实验室编辑:Dee ...
强化学习经典算法笔记(十九)：无监督策略学习算法Diversity Is All You Need
强化学习经典算法笔记19:无监督策略学习算法Diversity Is All You Need DIAYN核心要点模型定义目标函数的构造 DIAYN算法细节目标函数的优化 SAC的训练判别器的 ...
深度强化学习算法调参
深度强化学习调参技巧:以D3QN.TD3.PPO.SAC算法为例这个参考链接. 如何选择深度强化学习算法? 参考链接. 影响PPO算法性能的10个关键技巧(附PPO算法简洁Pytorch实现) 主要 ...
通俗讲解集成学习算法！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货作者:黄星源,Datawhale优秀学习者本文以图文的形式对模型算法中 ...

TD3学习算法，reward到后期开始减小

TD3学习算法，reward到后期开始减小相关推荐

最新文章

热门文章