数据回归方法（一）——一元回归

2024-06-21 04:33:27

1.需求引入

有联系的事物之间存在着特定的关系。将事物抽象为变量，即变量之间存在着特定的关系。回归（regression）方法就是建立变量之间相互关系模型的数学方法。具体点说，在回归中，假定因变量Y和自变量X之间的模型，然后计算模型中的系数。

回归分类：

1.按照因变量个数、模型类型，可分为

①一元线性；②一元非线性；③多元线性；④多元非线性。

2.两种特殊方式：

逐步回归：回归过程中可以调整变量数；
Logistic回归：以指数结构函数作为回归模型。

2.一元回归

2.1一元线性回归

一个自变量x和因变量Y的线性关系模型：

Y——因变量，x——自变量，β0、β1 ——未知参数，称回归系数，ε ——随机误差，，var(ε)=σ2>0

如何建立回归方程？分二步：

①确定能否建立线性回归模型；

②确定如何对模型中未知参数β0、β1 进行评估。

下面详细解释其过程。

⑴对总体(x,Y)进行n次独立观测，获得n组观测值：

⑵在直角坐标系中画出观测值对应的点(xi,yi) 的散点图。

如果这些点大致位于同一条直线附近，则认为Y与x之间存在线性关系。

⑶利用最小二乘法得到的最小二乘估计，估计公式为

其中，

于是建立了经验模型：

⑷回归效果评价。

3个评价参数：

SSE表征y的估计值与实际值的偏差程度。

SST表征y与y平均值的偏差程度。

SSR表征两种偏差之间的差值。

三个评价准则：

决定系数

, 大，说明SSE相对SST小，表示总体上看，yi与比较靠近，验证模型可靠。

剩余标准差

S值越小，说明SSE越小，经验模型与实际越接近。

F检验

通过R、S和F的值，判断模型是否具有良好线性关系。

⑸确定最精确的一元线性回归模型，并可以利用该模型对Y进行预测。

2.2一元非线性回归

实际问题中，变量间的关系有的是非线性关系，应该用曲线进行拟合。

⑴解决的基本思路：

①对于曲线回归建模的目标函数，通过中间变换

使目标函数线性化，化为一元线性函数形式。

②利用最小二乘估计法估计出参数a和b，用

描述v与u之间的统计规律。

③用逆变换

还原为目标函数形式的非线性回归方程。

⑵常见的非线性回归模型

这些常见模型常作为非线性回归拟合的参考模型。

①倒幂函数

函数图形

②幂函数

0<b<1

b<0

b>1

③指数函数

b>0

b<0

④倒指数函数

b>0

b<0

⑤对数函数

b>0

b<0

⑥S型曲线

如何使用这些常见的非线性回归模型：

首先，根据实例中的变量趋势，结合常见的非线性函数的图像，大概可以判断实例属于哪种非线性关系。（实际这几种函数图形比较接近，使用时可能都要试一下）
然后，根据选择好的函数形式，利用中间变换，进行非线性拟合。
最后，从几个可能的拟合结果中，根据回归效果评价准则，选择最好的回归结果。

数据回归方法（一）——一元回归相关推荐

python回归代码_一元回归1_基础（python代码实现）
机器学习,项目统计联系QQ:231469242 目录 1.基本概念 2.SSE/SSR/SST可视化 3.简单回归分为两类 4.一元回归公式 5.估计的回归公式 6.最小二乘法得到回归线应该穿过中心点 ...
回归方法--一元回归，多元回归，逐步归回，Logistic 回归
数学建模专栏 | 第三篇:MATLAB数据建模方法(上) -常用方法 2017-07-21 卓金武 MATLAB 作者简介卓金武,MathWorks中国高级工程师,教育业务经理,在数据分析.数 ...
浅谈对机器学习方法（决策树，SVM，knn最近邻，随机森林，朴素贝叶斯、逻辑回归）的理解以及用sklearn工具实现文本分类和回归方法...
一.决策树定下一个最初的质点,从该点出发.分叉.(由于最初质点有可能落在边界值上,此时有可能会出现过拟合的问题. 二.SVM svm是除深度学习在深度学习出现之前最好的分类算法了.它的特征如下: ...
逻辑回归画图_逻辑回归
逻辑回归画图申请流程 (Application Flow) Logistic Regression is one of the most fundamental algorithms for cla ...
Py之scikit-learn：机器学习sklearn库的简介、六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类)、安装、使用方法(实际问题中如何选择最合适的机器学习算法)之详细攻略
Py之scikit-learn:机器学习sklearn库的简介(组件/版本迭代).六大基本功能介绍(数据预处理/数据降维/模型选择/分类/回归/聚类).安装.使用方法(实际问题中如何选择最合适的机器学 ...
高维数据惩罚回归方法：主成分回归PCR、岭回归、lasso、弹性网络elastic net分析基因数据...
原文链接:http://tecdat.cn/?p=23378 1 介绍在本文中,我们将研究以下主题证明为什么低维预测模型在高维中会失败. 进行主成分回归(PCR). 使用glmnet()进行岭回归 ...
数据回归方法（二）—— 多元回归
1.多元线性回归实例引入:假如我们现在要去预测本地房子的价格,那么我们该怎么办?影响房价的因素有很多:房子面积.方位.地理位置.本地居民收入.房龄等等,很自然的办法就是将这些主要因素纳入,建立一个多 ...
一元回归及多元回归模型
目录一.前言二.案例分析求解 2.1问题一 2.1.1分析 2.1.2Matlab求解一元线性回归模型 2.1.3结果 2.2问题二 2.2.1分析 2.2.2Matlab求解 2.2.3结果 ...
机器学习-回归之一元回归与多元回归算法原理及实战
一元回归分析和多元线性回归前言在统计学中,回归分析(Regression Analysis)指的是确定两种或两种以上变量间的相互依赖的定量关系的一种分析方法.该方法常使用数据统计的基本原理,对大量 ...

最新文章

热门文章