机器学习笔记——线性回归与逻辑回归

线性回归是什么：

线性回归是回归问题的一种，模型试图去找到y 与 x 的线性关系同时去预测新输入的输出值。模型会找到一条直线使得图像上的每一个点到这条线的欧式距离之和最小，也就是均方误差（MSE）最小。

那如何去找到这条直线呢：

当只有一个输入值的时候，我们找到所有样本的预测值的误差的平方之和也就是均方误差（MSE），然后我们通过求偏导为0的方式求得当均方误差最小的时候m和b的取值。

而当有多个输入的时候（比如一栋房子的价格会与其地段，房屋面积，配备设施有关，所以在这个例子里就会有三个输入）这条线就会表示为然后我们就会将n个m和b整合为一个列向量w= $\begin{bmatrix} m1\\ m2\\ m3\\ ...\\ mn\\ b \end{bmatrix}$ 其大小为(n+1)*1 然后对于m个样本，每个样本有n个特征，我们也将他们整合为矩阵X=

那么最后我们会得到 f(xi) =

在这种情况下我们也有另外一种更加直接的方式，那就是梯度下降（gradient decent) 。

梯度下降可以理解为一个下山的过程，随机一个出发点，然后根据起始点的斜率更新下一次的位置，再在下一次的点做同样的操作，这样就慢慢走到山底，也就是收敛至局部最低点。也许每一次收敛的局部最低点都是不一样的但这也是无法避免的，我们可以多试几个不同的随机起始点来取得最低点。

而具体的公式如下图所示。

在这里 $\alpha$ 表示的是步长，如果太大的话会跨过最小点或是说无法收敛，可能会越来越大，而同时如果 $\alpha$ 太小的话计算量会特别大，也就是下山会花很长时间。所以一般情况下 $\alpha$ 都是一个较小的正数

逻辑回归是什么？

与其说逻辑回归是回归模型不如说是一个分类模型，其本质是我们默认数据服从我们设定的分布然后使用极大似然估计来估计参数。就好比我们有两枚硬币A和B,硬币A抛投100次有99次正面朝上，而硬币B则有99次反面朝上，这时我们闭着眼拿了一枚硬币抛投，如果它是正面朝上我们就认为我们拿的是硬币A，反之亦然。

逻辑回归分布

我们会将连续值x映射到0和1之间，当x趋近无穷大时S(x)趋近于1，而当x趋近无穷小时S(x)趋近于0

举个例子

在下图中每个点都可以用一个向量表示x = $\binom{Exam 1}{Exam 2}$ ，这里的决策边界可以表示为wx+b=0。 w就是垂直于这条直线的单位法向量，如果wx + b > 0 我们就判断这个学生通过了考试，wx + b < 0那么这个学生就没有通过考试。

现在我们需要找到每个学生通过考试的概率 $P(Y = 1 | x )$ 在这里我们有多种选择，最基本的就是阶跃函数，也就是 wx+b = z , z<0 p(x) = 0 , z=0 p(x) = 0.5 , z>0 p(x) = 1。

而如果我们需要的概率时连续值的时候就可以用 $P(Y = 1 | x) = \frac{1}{1-e^{w\hat{x}+b}}$ 而相应的 $P(Y = 0 | x) = 1 - P(Y = 1 | x)$

代价函数

现在我们确定了逻辑回归模型的数学形式，之后我们便需要求解模型中的参数，我们会使用极大似然估计法来求解。

似然函数：

最终我们得到损失函数

推导详见【机器学习】逻辑回归 1.3

机器学习笔记——线性回归与逻辑回归相关推荐

Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...
机器学习笔记 - 线性回归与逻辑回归
一.线性回归概述 1.概述线性回归算法是一种预测连续型变量的方法.它的基本思想是通过已给样本点的因变量和自变量的关系,设定一个数学模型,来拟合这些样本点.线性回归算法就是为了找到最佳模型. 线性回归 ...
【机器学习】线性回归与逻辑回归的理论与实战
点击上方,选择星标或置顶,每天给你送干货! 阅读大概需要10分钟跟随小博主,每天进步一丢丢作者:奋斗喵编辑:王萌 1.基本概念要进行机器学习,首先要有数据.从数据中学得模型的过程称为" ...
机器学习：线性回归和逻辑回归
线性回归和逻辑回归的区别: 两者都属于回归算法,线性回归主要用来解决连续值预测的问题,逻辑回归用来解决分类的问题,输出的属于某个类别的概率,工业界经常会用逻辑回归来做排序.在SVM.GBDT.AdaB ...
sklearn逻辑回归参数设置_【机器学习笔记】：逻辑回归实战练习（二）
作者:xiaoyu 微信公众号:Python数据科学知乎:python数据分析师前言前几篇介绍了逻辑回归在机器学习中的重要性:5个原因告诉你:为什么在成为数据科学家之前,"逻辑回归&q ...
机器学习笔记04：逻辑回归(Logistic regression)、分类(Classification)
之前我们已经大概学习了用线性回归(Linear Regression)来解决一些预测问题,详见: 1.<机器学习笔记01:线性回归(Linear Regression)和梯度下降(Gradien ...
【机器学习笔记4】逻辑回归模型
目录什么是逻辑回归? Sigmoid函数决策边界逻辑回归的损失函数为什么平方误差模型不可行? 对数损失函数单个样例损失: 整体损失函数梯度下降算法补充:F1-score评价指标 F1-S ...
机器学习笔记I: 基于逻辑回归的分类预测
逻辑回归的介绍逻辑回归(Logistic regression,简称LR)虽然其中带有"回归"两个字,但逻辑回归其实是一个分类模型,并且广泛应用于各个领域之中.虽然现在深度学习相 ...
机器学习——从线性回归到逻辑回归【附详细推导和代码】
本文始发于个人公众号:TechFlow,原创不易,求个关注在之前的文章当中,我们推导了线性回归的公式,线性回归本质是线性函数,模型的原理不难,核心是求解模型参数的过程.通过对线性回归的推导和学习,我 ...

机器学习笔记——线性回归与逻辑回归

机器学习笔记——线性回归与逻辑回归相关推荐

最新文章

热门文章