【学习笔记】吴恩达机器学习 WEEK1

Introduction

机器学习算法分类
- 监督学习 Supervised learning
- 无监督学习 Unsupervised learning
监督学习
- 回归 regression
  map input variables to some continuous function
- 分类 classification
  map input variables into discrete categories
无监督学习
给算法数据集，要求它找出数据的类型结构
实例：分离音频
Octave：构建学习算法原型，使用Octave

Linear Regression with One Variable

代价函数 cost function
作用：measure the accuracy of our hypothesis function

J(θ0,θ1)=12m∑i=1m(y^i−yi)2=12m∑i=1m(hθ(xi)−yi)2J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{2 m} \sum_{i=1}^{m}\left(\hat{y}_{i}-y_{i}\right)^{2}=\frac{1}{2 m} \sum_{i=1}^{m}\left(h_{\theta}\left(x_{i}\right)-y_{i}\right)^{2}J(θ0,θ1)=2m1∑i=1m(y^i−yi)2=2m1∑i=1m(hθ(xi)−yi)2

也叫做平方误差函数，或者是均方误差
代价函数的讲解
- hθ(x)h_\theta(x)hθ(x) ：固定参数θ\thetaθ，是xxx的函数
- J(θ)J(\theta)J(θ)：是参数θ\thetaθ的函数
- cost function的值越小，对应的拟合越好
梯度下降 Gradient descent
关键步骤：更新方程，θ0和θ1\theta_0和\theta_1θ0和θ1需要同步更新

θj:=θj−α∂∂θjJ(θ0,θ1)\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J\left(\theta_{0}, \theta_{1}\right)θj:=θj−α∂θj∂J(θ0,θ1)

斜率会不断变小，因此步伐会变小，慢慢靠近最后的解

4. Batch梯度下降算法
用梯度下降法，求解代价函数的最小值，得到线性回归算法，用直线模型来拟合数据

Linear Algebra Review

线性代数知识回顾

大写字母表示矩阵，小写字母表示向量
矩阵与向量乘法
矩阵与向量的相乘，简化计算，避免一个一个的带入计算。
矩阵与矩阵乘法
包含更多信息，一次矩阵乘法就可以实现多种的预测（而且矩阵乘法很高效）
矩阵乘法的特性
1. 没有交换律（交换以后相乘得到的矩阵维度不同）
2. 符合结合律 A×B×C=A×(B×C)=(A×B)×CA \times B \times C=A\times(B\times C)=(A\times B)\times CA×B×C=A×(B×C)=(A×B)×C
特殊矩阵
1. 单位矩阵 Identity Matrix A⋅I=I⋅A=AA·I = I·A = AA⋅I=I⋅A=A
逆矩阵和矩阵的转置
1. 矩阵逆运算
  If A is an m×mm\times mm×m matrix，and if it has an inverse,AA−1=A−1A=IAA^{-1}=A^{-1}A=IAA−1=A−1A=I
  注意： 1. 方阵 2. 存在逆矩阵
2. 矩阵的转置运算 Matrix Transpose
  矩阵的第一行变为第一列 Bij=AjiB_{ij}=A_{ji}Bij=Aji

【学习笔记】吴恩达机器学习 WEEK1相关推荐

学习笔记吴恩达斯坦福大学公开课：机器学习课程-1 机器学习的动机与应用
机器学习的动机与应用 1,机器学习的定义 1959:"Field of study that gives computers the ability to learn without bei ...
Python学习--Machine-Learning 吴恩达机器学习编程作业 (第六周)
Machine-Learning 编程作业 Programming Exercise 6:Support Vector Machines SVM的简单应用 part1 示例文件1使用线性核函数 par ...
吴恩达机器学习MATLAB代码笔记（1）梯度下降
吴恩达机器学习MATLAB代码笔记(1)梯度下降单变量线性回归 1.标记数据点(Plotting the Date) fprintf('Plotting Data') data = load('D: ...
吴恩达机器学习课程-作业1-线性回归（python实现）
Machine Learning(Andrew) ex1-Linear Regression 椰汁学习笔记最近刚学习完吴恩达机器学习的课程,现在开始复习和整理一下课程笔记和作业,我将陆续更新. Li ...
5. 吴恩达机器学习课程-作业5-偏差和方差
fork了别人的项目,自己重新填写,我的代码如下 https://gitee.com/fakerlove/machine-learning/tree/master/code 代码原链接文章目录 5. ...
手机上的机器学习资源！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>.CS229数学基础等,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成 ...
下载量过百万的吴恩达机器学习和深度学习笔记更新了！（附PDF下载）
今天,我把吴恩达机器学习和深度学习课程笔记都更新了,并提供下载,这两本笔记非常适合机器学习和深度学习入门.(作者:黄海广) 0.导语我和同学将吴恩达老师机器学习和深度学习课程笔记做成了打印版,放在g ...
吴恩达机器学习--单变量线性回归【学习笔记】
说明:本文是本人用于记录学习吴恩达机器学习的学习笔记,如有不对之处请多多包涵. 作者:爱做梦的90后一.模型的描述: 下面的这张图片是对于课程中一些符号的基本的定义: 吴老师列举的最简单的单变量线性 ...
新建网站了！Github标星过万的吴恩达机器学习、深度学习课程笔记，《统计学习方法》代码实现，可以在线阅读了！...
吴恩达机器学习.深度学习,李航老师<统计学习方法>,可以说是机器学习入门的宝典.本文推荐一个网站"机器学习初学者",把以上资源的笔记.代码实现做成了网页版,可以在线阅读 ...

【学习笔记】吴恩达机器学习 WEEK1

Introduction

Linear Regression with One Variable

Linear Algebra Review

【学习笔记】吴恩达机器学习 WEEK1相关推荐

最新文章

热门文章