线性回归、logistic回归和一般回归

回归在数学上来说是给定一个点集，能够用一条曲线去拟合之。如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归。回归还有很多的变种，如locally weighted回归，logistic回归等等。

假设y是关于x的线性函数：

θ在这儿称为参数，在这儿的意思是调整每个特征的权重。如果我们令X₀=1，就可以用向量的方式来表示了：

怎样选择参数θ，选择策略：使得h函数最接近y。接近程度判断，定义损失函数

如何调整θ,使得J(θ)取值最小。使用梯度下降法，梯度下降法是按下面的流程进行：

1）首先对θ赋值，这个值可以是随机的，也可以让θ是一个全零的向量

2）改变θ的值，使得J(θ)按梯度下降的方向进行减少

为了更清楚，给出下面的图：

在上面提到梯度下降法的第一步是给θ给一个初值，假设随机给的初值是在图上的十字点。

然后我们将θ按照下降最快的方向，即梯度的方向进行调整，就会使得J(θ)往更低的方向进行变化，如图所示，算法的结束将是在θ下降到无法继续下降为止。

当然，可能梯度下降的最终点并非是全局最小点，可能是一个局部最小点，可能是下面的情况：

上面这张图就是描述的一个局部最小点，这是我们重新选择了一个初始点得到的，看来我们这个算法将会在很大的程度上被初始点的选择影响而陷入局部最小点

梯度下降算法：

对于函数J(θ)求偏导

下面是更新的过程，也就是θ_i会向着梯度最小的方向进行减少。等式后面的θ_i表示更新之前的值，后面的部分表示按梯度方向减少的量，α表示步长，也就是每次按照梯度减少的方向变化多少。

一个很重要的地方值得注意的是，梯度是有方向的，对于一个向量θ，每一维分量θ_i都可以求出一个梯度的方向，我们就可以找到一个整体的方向，在变化的时候，我们就朝着下降最多的方向进行变化就可以达到一个最小点，不管它是局部的还是全局的。

假设根据特征的预测结果与实际结果有误差ε⁽ⁱ⁾，那么预测结果θ⁽ⁱ⁾x⁽ⁱ⁾和真实结果y⁽ⁱ⁾满足下式：

一般来讲，误差满足平均值为0的高斯分布，也就是正态分布。那么x和y的条件概率也就是

这样就估计了一条样本的结果概率，然而我们期待的是模型能够在全部样本上预测最准，也就是概率积最大，这个概率积称为最大似然估计。我们希望在最大似然估计得到最大值时确定θ。那么需要对最大似然估计公式求导，求导结果即是

这就解释了为何误差函数要使用平方和。

上面提到的线性回归的误差函数没有权重，带权重的线性回归加入了权重信息。基本假设是：

其中假设w(i)符合公式

其中x是要预测的特征，这样假设的道理是离x越近的样本权重越大，越远的影响越小。这个公式与高斯分布类似，但不一样，因为w⁽ⁱ⁾不是随机变量。

此方法称为非参数学习算法，因为误差函数随着预测值的不同而不同，这样θ无法事先确定，预测一次需要临时计算。

一般来说，回归不用再分类问题上，因为回归是连续模型，而且受噪声影响比较大。如果非要应用，可以使用对数回归。

转载于:https://www.cnblogs.com/bwin/p/5239191.html

线性回归、logistic回归和一般回归相关推荐

对线性回归，logistic回归和一般回归的认识
作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正. 1 摘要本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识.前四节主要讲述了回归问题,回归属于有监督学习中 ...
线性回归 Linear Regression 与逻辑回归 Logistic Regression
1 线性回归 Linear Regression 理论线性回归模型研究多个变量x与y之间的关系,通过回归模型预测位置样本的数据. 假设函数损失函数损失函数寻优,最小二乘法即: 注:最小二乘法需 ...
二丶线性回归和logistic(逻辑斯蒂)回归
说明: 线性回归和Logistic回归他们两个解决的并不是一类问题,名字的话,的确很容易让人误导,这两者的区别: 线性回归是用来解决回归问题,而Logistic回归是用来解决二分类问题的,一个是回归, ...
线性回归、Logistic回归和softmax回归
区别: (1)输出:线性回归的输出是一个数值,适用于回归问题,如房屋预测价格.气温.销售额. logistic回归.softmax的输出是一个标签,适用于分类问题,如图像分类等. (2)支持类别:Lo ...
Logistic Regression（逻辑回归）原理及公式推导
Logistic Regression(逻辑回归)原理及公式推导 Logistic Regression(逻辑回归)是机器学习中一个非常非常常见的模型,在实际生产环境中也常常被使用,是一种经典的分类模 ...
【算法】Logistic regression （逻辑回归）概述
Logistic regression (逻辑回归)是当前业界比较常用的机器学习方法,用于估计某种事物的可能性.比如某用户购买某商品的可能性,某病人患有某种疾病的可能性,以及某广告被用户点击的可能性等 ...
Logistic and Softmax Regression (逻辑回归和Softmax回归)
1．简介逻辑回归和Softmax回归是两个基础的分类模型,虽然听名字以为是回归模型,但实际我觉得他们也有一定的关系.逻辑回归,Softmax回归以及线性回归都是基于线性模型,它们固定的非线性的基函 ...
Scikit-Learn 机器学习笔记 -- 线性回归、逻辑回归、softmax回归
Scikit-Learn 机器学习笔记 – 线性回归.逻辑回归.softmax回归参考文档: handson-ml import numpy as np from matplotlib import ...
Logistic regression （逻辑回归）概述
http://hi.baidu.com/grandyang/item/e1df4ecf195eb816b77a240e Logistic regression (逻辑回归)是当前业界比较常用的机器学习 ...
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
欢迎大家来到"Python从零到壹",在这里我将分享约200篇Python系列文章,带大家一起去学习和玩耍,看看Python这个有趣的世界.所有文章都将结合案例.代码和作者的经验讲 ...

线性回归、logistic回归和一般回归

线性回归、logistic回归和一般回归相关推荐

最新文章

热门文章