2-4回归模型的诊断和优化

多重共线性是指线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系而使模型估计失真或者难以估计准确。

即存在一组不全为0的数使得

多重共线性的成因：

不同的自变量存在相同的趋势
引入了滞后的自变量
样本资料的限制

多重共线性对回归模型的影响：

参数估计失败
显著性检验失败
模型无应用价值

多重共线性的诊断

直观判断法：

增加或者剔除一个自变量，或者是改变一个观测值，回归系数的估计值发生较大变化，认为存在严重的多重共线性
一些重要自变量在回归方程的显著性检验中未能通过，初步判定存在严重的共线性
当回归方程中一些自变量的系数所带的正负号与定性分析的结果相违背时，认为存在多重共线性
自变量的相关矩阵中，当自变量间的相关系数较大时，认为可能存在多重共线性
当一些重要的自变量的回归系数的标准误差较大时，认为可能存在多重共线性

方差扩大因子法：

也叫方差膨胀因子，是中心标准化后的自变量的相关阵的主对角线元素。

$C=(c_{ij})=((X^{*})^{T}X^{*})^{-1}$ ， $VIF$ 为矩阵 $C$ 的主对角线元素

， $R_{j}^{2}$ 为 $x_{j}$ 对其余zibianl自变量的复决定系数

$\overline{VIF}=1/p*VIF_{j}$

当膨胀因子 $VIF_{j}\geq 10$ ，说明自变量 $x_{j}$ 与其他自变量存在严重的多重共线性，会严重影响使用最小二乘法 $OLS$ 进行系数估值

平均膨胀因子，存在严重的多重共线性

特征根判定法：

求解矩阵的特征根，存在近似于0的特征根，则表明存在多重共线性，有多少个近似于0的特征根，就有多少个多重共线性。

可以通过条件数来判断特征根近似于0：

$k_{i}=\sqrt{\lambda _{m}/\lambda _{i}}$ ，其中 $\lambda _{m}$ 为最大特征根

条件数度量了特征的散布程度
通常认为时，没有多重共线性，当 $10\leq k<100$ 时，存在较强的多重共线性关系，当 $k\geq 100$ 时，存在严重的多重共线性。

消除多重共线性的方法

删除一些不重要的解释变量：选择回归模型时，可以将回归系数的显著性检验，方差扩大因子的多重共线性检验与自变量的实际意义结合起来考虑，引入或者剔除变量
增大样本量：当关联系数不变时，增大样本量，回归系数估计值的方差也会适当缩小，从而减弱多重共线性的影响
回归系数有偏估计：采取有偏估计的方法提高稳定性，如岭回归、主成分法、偏最小二乘法等

2-4回归模型的诊断和优化 - 多重共线性相关推荐

Python数据分析与挖掘——回归模型的诊断
当回归模型构建好之后,并不意味着建模过程的结束,还需要进一步对模型进行诊断,目的就是使诊断后的模型更加健壮.统计学家在发明线性回归模型的时候就提出了一些假设前提,只有在满足这些假设前提的情况下,所得的 ...
毕业设计实用模型（四）——回归模型的实现（R语言）
目录 0引言 1.课本介绍 1.1理论的书 1.2 R语言的书 2.构造数据 3.相关性分析 4.多元回归模型的建立 4.1建立模型 5.2模型分析 5.3方差分析表 5.变量选择 5.1 逐步回归 ...
机器学习入门之7种经典回归模型
介绍线性和逻辑回归通常是学习数据科学时接触的第一个算法,由于它们非常流行,许多分析师甚至认为它们是唯一的回归技术. 事实上,存在多种不同形式的回归模型,每种形式都有自身的特点和特定的应用场景.在本文 ...
R语言构建回归模型并进行模型诊断（线性关系不满足时）、进行变量变换（Transforming variables）、使用car包中的boxTidwell函数对预测变量进行Box–Tidwell变换
R语言构建回归模型并进行模型诊断(线性关系不满足时).进行变量变换(Transforming variables).使用car包中的boxTidwell函数对预测变量进行Box–Tidwell变换目 ...
R语言回归模型构建、回归模型基本假设（正态性、线性、独立性、方差齐性）、回归模型诊断、car包诊断回归模型、特殊观察样本分析、数据变换、模型比较、特征筛选、交叉验证、预测变量相对重要度
R语言回归模型构建.回归模型基本假设(正态性.线性.独立性.方差齐性).回归模型诊断.car包诊断回归模型.特殊观察样本分析.数据变换.模型比较.特征筛选.交叉验证.预测变量相对重要度目录
R语言glm拟合logistic回归模型：模型评估（模型预测概率的分组密度图、混淆矩阵、准确率、精确度、召回率、ROC、AUC）、PRTPlot函数获取logistic模型最优阈值(改变阈值以优化)
R语言glm拟合logistic回归模型:模型评估(模型预测概率的分组密度图.混淆矩阵.Accuray.Precision.Recall.ROC.AUC).PRTPlot函数可视化获取logistic ...
R语言构建logistic回归模型：WVPlots包PRTPlot函数可视化获取logistic回归模型的最优阈值、优化（precision、enrichment）和recall之间的折衷
R语言构建logistic回归模型:WVPlots包PRTPlot函数可视化获取logistic回归模型的最佳阈值(改变阈值以优化精确度(precision.enrichment)和查全率(recal ...
Python实现ABC人工蜂群优化算法优化支持向量机回归模型(SVR算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景人工蜂群算法(Artificial Bee Colony, AB ...
Python实现GWO智能灰狼优化算法优化支持向量机回归模型(svr算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景灰狼优化算法(GWO),由澳大利亚格里菲斯大学学者 Mirjal ...

2-4回归模型的诊断和优化 - 多重共线性

2-4回归模型的诊断和优化 - 多重共线性相关推荐

最新文章

热门文章