改善深层神经网络：超参数调整、正则化以及优化—

RMSprop算法全称是root mean square prop算法，该算法可以加速梯度下降，回忆一下之前的例子，如果执行梯度下降，虽然横轴方向正在推进，但纵轴方向会有大幅度的摆动，假设纵轴代表参数b，横轴代表参数W，可能有W1W_1W1，W2W_2W2或者其它重要的参数，为了便于理解，称为b和W。所以如果想减缓b方向的学习，同时加快横轴方向的学习，RMSprop算法可以实现这一点。

在第t次迭代中，该算法会照常计算当下mini-batch的微分dWdWdW和dbdbdb。这里用新符号SdwS_{dw}Sdw，Sdw=β∗Sdw+(1−β)∗(dW)2S_{dw}=\beta*S_{dw} +(1-\beta)*(dW)^2 Sdw=β∗Sdw+(1−β)∗(dW)2公式中平方的操作是针对这一整个符号的，这样做能够保留微分平方的加权平均数。同样有Sdb=β∗Sdb+(1−β)∗(db)2S_{db}=\beta * S_{db}+(1-\beta)*(db)^2Sdb=β∗Sdb+(1−β)∗(db)2参数更新公式变为W=W−α∗dWSdWW=W-\alpha * \frac{dW}{\sqrt{S_{dW}}}W=W−α∗SdWdWb=b−α∗dbSdbb=b-\alpha*\frac{db}{\sqrt{S_{db}}}b=b−α∗Sdbdb我们理解一下其中的原理，在横轴方向或者在例子中的W方向，我们希望学校速度快，而在垂直方向，也就是例子中的b方向，我们希望减缓纵轴上的摆动。所以有了SdWS_{dW}SdW和SdbS_{db}Sdb，我们希望SdWS_{dW}SdW会相对较小，所以W参数更新要除以一个较小的数，而希望SdbS_dbSdb较大，这样b更新会除以一个较大的数字，这样就可以减缓纵轴上的变化。

RMSprop的影响就是，纵轴方向上的摆动较小，而横轴方向继续推进。还有个影响就是，可以用更大学习率α\alphaα加快学习。

在RMSprop中要确保算法不会除于0，如果SdWS^{dW}SdW的平方根趋近于0怎么办？这样得到的答案非常大，为了确保数值稳定，在实际中操作的时候，要在分母加上一个很小很小的ε\varepsilonε，ε\varepsilonε是多少没关系，KaTeX parse error: Expected 'EOF', got '&' at position 3: 10&̲{-8}是个不错的选择，这只是保证数值能够稳定一些。无论什么原因，都不会除以一个很小很小的数，所以RMSprop跟Momentum有很相似的一点，可以消除梯度下降中的摆动，并允许使用一个更大的学习率alphaalphaalpha，从而加快算法学习速度。

改善深层神经网络：超参数调整、正则化以及优化——2.7 RMSprop相关推荐

交叉验证和超参数调整：如何优化您的机器学习模型
In the first two parts of this article I obtained and preprocessed Fitbit sleep data, split the data ...
2020-6-9 吴恩达-改善深层NN-w3 超参数调试(3.3 超参数训练的实践：Pandas(资源少，一次一个模型) VS Caviar(资源多，一次多个模型))
1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c 2.详细笔记网站(中文):http://www.ai-sta ...
python/keras中用Grid Search对神经网络超参数进行调参
原文:How to Grid Search Hyperparameters for Deep Learning Models in Python With Keras 作者:Jason Brownle ...
02.改善深层神经网络：超参数调试、正则化以及优化 W2.优化算法（作业：优化方法）
文章目录 1. 梯度下降 2. mini-Batch 梯度下降 3. 动量 4. Adam 5. 不同优化算法下的模型 5.1 Mini-batch梯度下降 5.2 带动量的Mini-batch梯度下 ...
02.改善深层神经网络：超参数调试、正则化以及优化 W1.深度学习的实践层面（作业：初始化+正则化+梯度检验）
文章目录作业1:初始化 1. 神经网络模型 2. 使用 0 初始化 3. 随机初始化 4. He 初始化作业2:正则化 1. 无正则化模型 2. L2 正则化 3. DropOut 正则化 3.1 ...
02.改善深层神经网络：超参数调试、正则化以及优化 W3. 超参数调试、Batch Norm和程序框架（作业：TensorFlow教程+数字手势预测）
文章目录 1. 探索TensorFlow库 1.1 线性函数 1.2 计算 sigmoid 1.3 计算损失函数 1.4 One_Hot 编码 1.5 用0,1初始化 2. 用TensorFlow建立 ...
02.改善深层神经网络：超参数调试、正则化以及优化 W3. 超参数调试、Batch Norm和程序框架
文章目录 1. 调试处理 2. 为超参数选择合适的范围 3. 超参数调试的实践 4. 归一化网络的激活函数 5. 将 Batch Norm 拟合进神经网络 6. Batch Norm 为什么奏效 7. ...
02.改善深层神经网络：超参数调试、正则化以及优化 W2.优化算法
文章目录 1. Mini-batch 梯度下降 2. 理解 mini-batch 梯度下降 3. 指数加权平均数 4. 理解指数加权平均数 5. 指数加权平均的偏差修正 6. 动量Momentum梯度 ...
02.改善深层神经网络：超参数调试、正则化以及优化 W1.深度学习的实践层面
文章目录 1. 训练,验证,测试集 2. 偏差,方差 3. 机器学习基础 4. 正则化 5. 为什么正则化预防过拟合 6. dropout(随机失活)正则化 7. 理解 dropout 8. 其他正则 ...
深度学习（二）吴恩达给你的人工智能第一课： 02.改善深层神经网络：超参数调试、正则化以及优化
目录第一周深度学习的实用层面 1.1 训练 / 开发 / 测试集 1.1.1. 训练集.验证集.测试集 1.2 偏差 / 方差 1.3 机器学习基础 1.3.1.降低偏差/降低 ...

改善深层神经网络：超参数调整、正则化以及优化——2.7 RMSprop

改善深层神经网络：超参数调整、正则化以及优化——2.7 RMSprop相关推荐

最新文章

热门文章