0 策略过于确定的优劣

策略学习的目的是学出一个策略网络 $\pi(a|s;\theta)$ 用于控制智能体agent。

比如基于某一个状态s，策略网络的输出为：

那么基本上agent进行的动作就是向右了

这样过于确定性的决策有好有坏：

好处在于不容易选中很差的动作，比较安全。
坏处在于智能体就会安于现状，不去尝试没做过的动作，不去探索更多的状态，无法找到更好的策略。

1 熵正则的引入

我们希望策略网络的输出的概率不要集中在一个动作上，至少要给其他的动作一些非零的概率，让这些动作能被探索到。

可以用熵 (Entropy) 来衡量概率分布的不确定性。对于上述离散概率分布 p = [ p 1 , p 2 , p 3]，熵等于

熵小说明概率质量很集中，熵大说明随机性很大

2 策略学习中的熵正则

我们希望策略网络输出的概率分布的熵不要太小。我们不妨把熵作为正则项，放到策略学习的目标函数中。

策略网络的输出是维度等于 |A| 的向量，它表示定义在动作空间上的离散概率分布。

这个概率分布的熵定义为：

我们希望对大多数状态，熵都比较大，也就是让 $E_S[H(S;\theta)]$ 比较大。

所以此时，带有熵正则的策略学习可以写作：

2.1 带熵正则的优化

带熵正则之后，梯度是：

通过推导可得此时g(θ)的无偏估计是

2.1.1 推导

而在强化学习笔记：policy learning_UQI-LIUWJ的博客-CSDN博客中，我们知道

所以二者一结合，有：

参考内容：王树森强化学习

强化学习笔记：熵正则相关推荐

强化学习笔记：Actor-critic
0 复习由于actor-critic 是 policy gradient 和DQN的一个结合,所以我们先对这两个进行一个简单的复习: 0.1 policy gradient 强化学习笔记:Polic ...
【李宏毅深度强化学习笔记】6、Actor-Critic、A2C、A3C、Pathwise Derivative Policy Gradient
[李宏毅深度强化学习笔记]1.策略梯度方法(Policy Gradient) [李宏毅深度强化学习笔记]2.Proximal Policy Optimization (PPO) 算法 [李宏毅深度强化 ...
python嵩天课堂笔记_[Python机器学习]强化学习笔记（嵩天礼欣老师mooc第三周）
[Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) [Python机器学习]强化学习笔记(嵩天礼欣老师mooc第三周) 目录强化学习定义马尔科夫决策过程基本元素值函数最优值 ...
142页ICML会议强化学习笔记整理，值得细读
作者 | David Abel 编辑 | DeepRL 来源 | 深度强化学习实验室(ID: Deep-RL) ICML 是 International Conference on Machine L ...
强化学习笔记 DDPG (Deep Deterministic Policy Gradient)
1 总述总体来讲,和actor-critic 差不多,只不过这里用了target network 和experience relay 强化学习笔记 experience replay 经验回放_UQ ...
强化学习笔记：Q_learning （Q-table）示例举例
1 示例介绍在右侧有宝藏,探险者到达宝藏所在的位置,就可以获得奖励比如某一时刻的状态是这个样子的:"-o---T" T 就是宝藏的位置, o 是探索者的位置如果在某个地点 s ...
强化学习笔记：PPO 【近端策略优化（Proximal Policy Optimization）】
1 前言我们回顾一下policy network: 强化学习笔记:Policy-based Approach_UQI-LIUWJ的博客-CSDN博客它先去跟环境互动,搜集很多的路径τ.根据它搜集 ...
强化学习笔记：Sarsa算法
1 Sarsa(0) Sarsa算法和TD类似,只不过TD是更新状态的奖励函数V,这里是更新Q函数强化学习笔记:Q-learning :temporal difference 方法_UQI-LIUWJ ...
强化学习笔记： generalized policy iteration with MC
强化学习笔记: MDP - Policy iteration_UQI-LIUWJ的博客-CSDN博客强化学习笔记:Q-learning_UQI-LIUWJ的博客-CSDN博客在policy ite ...

强化学习笔记：熵正则