《DeepLearning.ai》第六课：优化算法(Optimization algorithms)

2024-07-02 17:49:02

第六课：优化算法(Optimization algorithms)

6.1 Mini-batch梯度下降

上图表示了整个Mini-batcha梯度下降的过程。

首先对 X { t } X^{\{t\}} X{t}执行前项传播， X { t } X^{\{t\}} X{t}表示的是对于整个训练集之后的样本值，比如共有5000000个样本，每1000个划分一次，则 X { t } X^{\{t\}} X{t}表示第t个1000个样本的x值，维度为 ( n x , 1000 ) (n_x,1000) (nx,1000),注意与X ( n x , m ) (n_x,m) (nx,m)维度的区别. Y { t } Y^{\{t\}} Y{t}同理，维度为： ( 1 , 1000 ) (1,1000) (1,1000)，注意与Y ( 1 , 1000 ) (1,1000) (1,1000)维度的区别。

mini-batch与batch区别：使用batch梯度下降法，一次遍历训练集只能做一次梯度下降，而mini-batch可以做5000个梯度下降（以本题为例）。正常来说需要多次遍历训练集，需要另外一层for循环，直到最后能收敛到一个合适的精度。

6.2 理解mini-batch梯度下降法

第二个图没看懂emmmm

如上图，如果考虑两种极端的情况：
1.mini-batch的大小等于

《DeepLearning.ai》第六课：优化算法(Optimization algorithms)相关推荐

吴恩达deeplearning.ai系列课程笔记+编程作业(6)第二课改善深层神经网络-第二周：优化算法 (Optimization algorithms)
第二门课改善深层神经网络:超参数调试.正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and ...
第二周：优化算法 (Optimization algorithms)
第二周:优化算法 (Optimization algorithms) 文章目录第二周:优化算法 (Optimization algorithms) 2.1 Mini-batch 梯度下降(Mini- ...
吴恩达deeplearning.ai最后一课上线，下一次得等多少年？
喜大普奔!今天,吴恩达的深度学习系列课程最后一课上线了! 去年6月,吴恩达宣布deeplearning.ai创业项目,8月,该项目揭晓:一套由5门课组成的深度学习系列课程--Deep Learning ...
温州大学《深度学习》课程课件（六、优化算法）
这学期我上的另一门课是本科生的<深度学习>,主要用的是吴恩达老师的<深度学习>视频课的内容. 使用教材:吴恩达<深度学习>课程笔记课外参考书:<深度学习&g ...
吴恩达深度学习deeplearning.ai——第一门课：神经网络与深度学习——第三节：浅层神经网络
3.1 神经网络概述(Neural Network Overview) 本章你将学习如何实现一个神经网络.在我们深入学习具体技术之前,我希望快速的带你预览一下本章你将会学到的东西.如果这个视频中的某些 ...
第六课多算法组合与模型调优
本系列是七月算法机器学习课程笔记文章目录 1 前序工作流程 1.1 数据处理 1.2 特征工程 1.3 模型选择 1.4 交叉验证 1.5 寻找最佳超参数 2 模型优化 2.1 模型状态 2.2 模 ...
吴恩达深度学习deeplearning.ai——第一门课：神经网络与深度学习——第二节：神经网络基础（上）
2.1 二元分类 (Binary Classification) 这周我们将学习神经网络的基础知识,其中需要注意的是,当实现一个神经网络的时候,我们需要知道一些非常重要的技术和技巧.例如有一个包含 m ...
优化算法optimization：AdaDelta
AdaDelta算法提出动机除了RMSProp算法以外,AdaDelta算法的提出也是为了解决AdaGrad算法在迭代后期较难找到有用解的问题. 算法 AdaDelta算法也像RMSProp算法一 ...
优化算法optimization：AdaGrad
AdaGrad算法提出动机在SGD的每次迭代中,目标函数自变量的每一个元素在相同时间步都使用同一个学习率来进行迭代.我们考虑一个二维输入向量x=[x1,x2]Tx = [x_1,x_2]^Tx=[ ...

最新文章

热门文章