回归算法--线性回归算法原理

1.线性回归

回归一词最早由英国科学家弗朗西斯·高尔顿（Francis Galton）提出。他发现一个趋势：父母高，儿女也高；父母矮，儿女也矮。但给定父母的身高，儿女辈的平均身高却趋向于或者“回归”到全体人口的平均身高。换句话说，即使父母双方都异常高或者异常矮，儿女的身高还是会趋向于人口总体的平均身高。这也就是所谓的普遍回归规律。

现代意义上的回归分析用来预测两种两种以上变量间相互依赖的定量关系。其中被预测的变量叫因变量，被用来进行预测的变量叫自变量。
当自变量与因变量之间存在线性关系时则叫做线性回归，按照自变量个数的多少可以将线性回归分为一元线性回顾与多元线性回归。以下图为例，自变量为房屋面积，因变量为房屋价格，通过找到一条直线去拟合数据点的分布趋势的过程，就是线性回归的过程。

2. 一元线性回归

假设一元线性方程为y=ax+b(1)y = ax + b\tag{1} y=ax+b(1)

3.多元线性回归

4.线性回归算法的衡量指标

均方误差(RSE)
均方根误差等于所有预测值与真实值误差平方和再除以样本数量。

均方根误差(RMSE)
均方根误差等于均方误差的算术平方根。
平均绝对误差(MAE)
平均绝对误差等于预测值与真实值的误差绝对值之和再除以样本数量。
R方(R^2)

R^2的取值小于等于1。取值越大，回归模型拟合的效果越好。取值越小，回归模型拟合的效果越差。

参考
https://blog.csdn.net/weixin_42180810/article/details/81266777

回归算法--线性回归算法原理相关推荐

逻辑回归与线性回归算法梳理
逻辑回归算法梳理逻辑回归与线性回归算法 1线性回归 2 逻辑回归 2.1 逻辑回归原理 2.2 逻辑回归损失函数 2.3 简化后的逻辑回归损失函数 3 联系与区别 3.1 联系 3.2 区别 4 正 ...
Python机器学习--回归算法--线性回归算法
线性回归算法线性回归算法类型: 线性回归算法属于有监督学习的回归算法,可以处理标签为连续数据类型的数据. 线性回归算法原理: 通过寻找特征和标签之间的关系,生成一个线性方程,通过线性方程预测未知标签 ...
回归模型-线性回归算法
线性回归算法问题分为有监督问题和无监督问题两类当用到标签来划分的时候就是有监督问题,当没有用标签值的时候就是无监督问题. 线性回归求解的结果是值比如: 根据工资和年龄来预测出一个具体的值,根据工 ...
Matlab回归算法,线性回归算法Matlab实现
编辑推荐: 本文来自于csdn,本文将通过以OCR(光学字符识别)的场景来介绍深度学习在计算机视觉中的应用. 一,单变量线性回归: 1. 数据分布,x轴是属性城市人口,y轴是标签值盈利: 2. 目的: ...
【python教程入门学习】线性回归算法详解
本节我们会认识第一个机器学习算法 -- 线性回归算法(Linear Regression),它是机器学习算法中较为简单,且容易理解的算法模型,你可以把它看做您的第一个"Hello World ...
【机器学习入门】(8) 线性回归算法：正则化、岭回归、实例应用(房价预测)附python完整代码和数据集
各位同学好,今天我和大家分享一下python机器学习中线性回归算法的实例应用,并介绍正则化.岭回归方法.在上一篇文章中我介绍了线性回归算法的原理及推导过程:[机器学习](7) 线性回归算法:原理.公式 ...
线性回归算法数学原理_线性回归算法-非数学家的高级数学
线性回归算法数学原理内部AI (Inside AI) Linear regression is one of the most popular algorithms used in differen ...
常用的三种线性模型算法--线性回归模型、岭回归模型、套索回归模型
常用的三种线性模型算法–线性回归模型.岭回归模型.套索回归模型线性模型基本概念线性模型的一般预测模型是下面这个样子的,一般有多个变量,也可以称为多个特征x1.x2.x3 - 最简单的线性模型就是一 ...
线性回归算法原理及python实现
文章目录引言回归与分类的区别线性回归简单线性回归原理及推导 python实现算法多元线性回归原理及推导 python实现算法手工实现多元线性回归算法 sklearn实现多元线性回归算法 ...