吴恩达机器学习17-大规模机器学习

2024-05-28 00:19:26

吴恩达机器学习17-大规模机器学习

1.大型数据集的学习

在高方差/过拟合的情况下，训练集误差和交叉验证集误差存在差距，但是随着样本数的增加两者差距减少并且交叉训练集的误差开始降低，所以增加更多数据到训练集可能可以提高算法效果。

在高偏差/欠拟合的情况下，训练集误差和交叉验证集误差一直很大，增加数据到训练集意义不大。

2.随机梯度下降法

如果我们有一个低方差的模型，增加数据集的规模可以帮助你获得更好的结果。但我们应该怎样应对一个有 100 万条记录的训练集？以线性回归模型为例，每一次梯度下降迭代，我们都需要计算训练集的误差的平方和，其计算代价是十分巨大的：

如果我们一定需要一个大规模的训练集，我们可以尝试使用随机梯度下降法（SGD）来
代替批量梯度下降法。

其算法如下：

第一步：随机分布训练集

第二步：对每个样本分别进行梯度下降：

首先引入训练单一代价的实例：

cost⁡(θ,(x(i),y(i)))=12(hθ(x(i))−y(i))2\operatorname{cost}\left(\theta,\left(x^{(i)}, y^{(i)}\right)\right)=\frac{1}{2}\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right)^{2}cost(θ,(x(i),y(i)))=21(hθ(x(i))−y(i))2

然后对每个样本进行梯度下降：

Repeat (usually anywhere between1-10){
for i=1: m{

θ:=θj−α(hθ(x(i))−y(i))xj(i)\theta:=\theta_{j}-\alpha\left(h_{\theta}\left(x^{(i)}\right)-y^{(i)}\right) x_{j}^{(i)}θ:=θj−α(hθ(x(i))−y(i))xj(i)

(for j=0: n )
}
}

随机梯度下降算法在每一次计算之后便更新参数

吴恩达机器学习17-大规模机器学习相关推荐

机器学习-吴恩达-笔记-13-大规模机器学习
目录大型数据集的学习批量梯度下降随机梯度下降小批量梯度下降随机梯度下降收敛在线学习映射化简和数据并行 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 大型数据集的学习如 ...
机器学习学习吴恩达逻辑回归_机器学习基础：逻辑回归
机器学习学习吴恩达逻辑回归 In the previous stories, I had given an explanation of the program for implementation ...
机器学习-吴恩达-笔记-6-应用机器学习的建议
目录评估一个假设(假设函数) 模型选择和交叉验证集诊断偏差和方差正则化和偏差/方差学习曲线决定下一步做什么 [此为本人学习吴恩达的机器学习课程的笔记记录,有错误请指出!] 当我们运用训练好了 ...
推荐一个比吴恩达还优质的机器学习课程
我们都知道AI的核心驱动力是机器学习,所以只要掌握了常见的机器学习算法以及工具,完全可以做出非常酷的AI产品.最近几年AI的发展突飞猛进,产生了大量成熟的工具,这也使得学习AI的门槛也变得越来越低.现 ...
吴恩达DeepLearningCourse3-结构化机器学习项目
文章目录第一周:机器学习策略1 正交化单一数字评估指标满足和优化指标训练/开发/测试集机器学习和人的表现第二周:机器学习策略2 进行误差分析修正标注错误的数据使用来自不同分布的数据进行 ...
（吴恩达）6.应用机器学习的建议、机器学习系统的设计
文章目录十.应用机器学习的建议(Advice for Applying Machine Learning) 10.1 决定下一步做什么 10.2 评估假设 10.3 模型选择和训练.验证.测试集 1 ...
完课率最高 | 带学吴恩达《机器学习》课程和作业，带打Kaggle全球顶级大赛！...
机器学习算法入门哪家好?吴恩达! 你说我为什么知道?这个要从前两个月说起. 我参加了一场500人的话题讨论会,主题是「推荐适合入门机器学习的公开课」. 结果活动一开始,就被一群学算法的工程师和研究生刷 ...
【AI】吴恩达斯坦福机器学习中文笔记汇总
1.吴恩达机器学习和深度学习课程的字幕翻译以及笔记整理参见: 以黄海广博士为首的一群机器学习爱好者发起的公益性质项目(http://www.ai-start.com). 2.黄海广博士公益项目介绍 h ...
吴恩达《机器学习训练秘籍》：7 条关于项目实践的实用建议
翻译 | shawn 出品 | 人工智能头条(公众号ID:AI_Thinker) <机器学习训练秘籍>(Machine Learning Yearning)是吴恩达的新作,主要讲的是如何应 ...
从六大概念总结吴恩达机器学习书籍：如何做好工程项目实践？
选自towardsdatascience 作者:Niklas Donges 机器之心编译在 ML 工程实践中,很多时候都会走一些弯路,可能是模型选错了,也可能是某个超参数一直不正确.那么我们该如何根 ...

最新文章

热门文章