评价最小二乘法回归模型的优劣用什么方法?_解决多重共线性之岭回归分析
上篇文章,我们介绍了几种处理共线性的方法。比如逐步回归法、手动剔除变量法是最常使用的方法,但是往往使用这类方法会剔除掉我们想要研究的自变量,导致自己希望研究的变量无法得到研究。因而,此时就需要使用更为科学的处理方法即岭回归。
岭回归
岭回归分析(Ridge Regression)是一种改良的最小二乘法,其通过放弃最小二乘法的无偏性,以损失部分信息为代价来寻找效果稍差但回归系数更符合实际情况的模型方程。
简单来说,岭回归是通过引入k个单位阵,使回归系数可以估计,得到的回归估计值要比简单线性回归系数更加稳定,也更加接近真实情况。虽然引入单位阵会导致信息丢失,但同时也换来回归模型的合理估计。
分析步骤
岭回归分析步骤共为2步:(1)结合岭迹图寻找最佳K值;(2)输入K值进行回归建模。
第一步:拖入数据,生成岭迹图,寻找最合适的K值。
K值的选择原则是各个自变量的标准化回归系数趋于稳定时的最小K值。K值越小则偏差越小,当K值为0时则为普通线性OLS回归;SPSSAU提供K值智能建议,也可通过主观识别判断选择K值。
第二步:对于K值,其越小越好,通常建议小于1;确定好K值后,即可输入K值,得出岭回归模型估计,查看分析结果。
岭回归分析案例
(1)背景
现测得胎儿身高、头围、体重和胎儿受精周龄数据,希望建立胎儿身高、头围、体重去和胎儿受精周龄间的回归模型。根据医学常识情况(同时结合普通线性最小二乘法OLS回归测量),发现三个自变量之间有着很强的共线性,VIF值高于200;可知胎儿身高、体重之间肯定有着很强的正相关关系,因而使用岭回归模型。
(2)分析步骤
第一步:岭回归分析前需要结合岭迹图确认K值。首先拖拽身长、头围、体重到X分析框,胎儿受精周龄到Y分析框,不输入K值,SPSSAU会默认生成岭迹图,同时给出智能分析建议。
第二步:对于K值,其越小越好,通常建议小于1;本案例中K值取0.01,返回分析界面,输入K值,得出岭回归模型估计。
(3)输出结果
表1用于整体分析模型拟合情况,可以看出,模型R平方值为0.959,意味着身长(cm), 头围(cm), 体重(g)可以解释胎儿受精周龄的0.959变化原因,模型拟合程度好。
表2为岭回归ANOVA检验,用于判定模型是否有意义,本例中显示P值<0.05,说明模型有意义。
表3为岭回归分析结果,根据分析结果可知,模型公式为:胎儿受精周龄=9.994 + 0.430*身长(cm)-0.284*头围(cm) + 0.007*体重(g)。身长、体重通过显著性检验(P<0.05)说明对胎儿受精周龄有影响关系。
总结分析可知:身长(cm), 体重(g)会对胎儿受精周龄产生显著的正向影响关系。但是头围(cm)并不会对胎儿受精周龄产生影响关系。
其他说明
岭回归分析需要特别注意两点,分别是共线性判断和分析步骤。
- 是否呈现出共线性,一定需要有理有据,比如VIF值过高,也或者自变量之间的相关关系过高(比如大于0.6);如果数据并没有共线性,依旧建议使用普通线性最小二乘法回归。
- 岭回归建模共分为两步,分别是寻找最佳K值和建模。岭迹图中,如果过了某点时趋于稳定,则该点对应的K值为最佳K值,以及K值是越小越好。
更多干货内容登录SPSSAU官网查看
SPSSAU:一图读懂:什么是偏相关?
SPSSAU:什么是虚拟变量?怎么设置才正确?
SPSSAU:多重共线性问题,如何解决?
评价最小二乘法回归模型的优劣用什么方法?_解决多重共线性之岭回归分析相关推荐
- 回归模型的score得分为负_逻辑回归评分卡实现和评估
逻辑回归评分卡实现和评估 上一节讲得是模型评估,主要有ROC曲线.KS曲线.学习曲线和混淆矩阵.今天学习如何实现评分卡和对评分卡进行评估. 首先,要了解评分卡是如何从概率映射到评分的,这个之前写过 ...
- 回归模型中截距项的意义_中级经济师考试 回归模型
回归,回归到哪里?它与相关的差别在哪里?大家先回想一下这个问题! 回归,回归的是事物的本质 . 回归分析就是根据相关关系的具体形态,选择一个合适的 数学模型 ,来 近似的表达变量间的依赖关系 . 回归 ...
- 【人脸表情识别】基于回归模型的人脸表情识别方法
前面几篇专栏中,我们介绍了有关基于图片/视频的人脸表情识别的相关内容,这两个领域采用解决分类问题的方法来对表情进行识别.这篇文章,我们将介绍通过回归的方式来理解表情的方式--基于连续模型的人脸表情识别 ...
- 利用回归模型来预测股票价值的方法
s表示市值 a表示总资产 b表示总负债 c表示总盈利 d表示总销售额 是多少是根据当前a股所有股票的数据估算出来的. 比如说,我们算出分别为0.3,-0.2,15,0.05 我们想知道300003这个 ...
- 常用于评价回归模型优劣的统计量包括( )。_第四十一讲 R-判断回归模型性能的指标...
当回归模型建立好以后,如何评价该回归模型是否与另一个回归模型有区别,如何比较两个回归模型的性能?这一讲中,我们将给大家介绍几个评价回归模型性能的统计指标. 1. 模型性能指标 在回归模型中,最常用的评 ...
- 基于Python的岭回归与LASSO回归模型介绍及实践
基于Python的岭回归与LASSO回归模型介绍及实践 这是一篇学习的总结笔记 参考自<从零开始学数据分析与挖掘> [中]刘顺祥 著 完整代码及实践所用数据集等资料放置于:Github 岭 ...
- 应该掌握的7种回归模型
应该掌握的7种回归模型 本文转载自博客你应该掌握的7种回归模型!. 线性回归和逻辑回归通常是人们学习预测模型的第一个算法.由于这二者的知名度很大,许多分析人员以为它们就是回归的唯一形式了.而了解更多的 ...
- 你应该掌握的 7 种回归模型!
个人网站:红色石头的机器学习之路 CSDN博客:红色石头的专栏 知乎:红色石头 微博:RedstoneWill的微博 GitHub:RedstoneWill的GitHub 微信公众号:AI有道(ID: ...
- 逻辑斯蒂回归java_逻辑斯蒂回归模型
http://blog.csdn.net/hechenghai/article/details/46817031 主要参照统计学习方法.机器学习实战来学习.下文作为参考. 第一节中说了,logisti ...
- 二、机器学习之回归模型分析
文章目录 一.回归模型 1.1 回归模型定义 1.2 回归模型分析方法 二.回归分析 2.1 线性回归和多项式回归 2.1.1 线性回归定义 2.2.2 代码实现分析: 2.2 逻辑回归 2.2.1 ...
最新文章
- java反序列化 exp_java反序列化-ysoserial-调试分析总结篇(4)
- delete,drop,truncate 区别
- VS2015编译MuPDF 1.13.0源码(详细)
- java2实用教程第5版第九章_java2实用教程(例子代码)第4版第九章.doc
- Spring5的系统架构
- RMAN Restore, Recovery
- P4878 道路修建-美国
- Slog15_支配vue框架模版语法之v-else
- 链路负载需求及基本原理
- 易语言窗口c_句柄取进程名,通过进程名取窗口句柄
- 【weblogic部署应用】
- Linux下报ora-12162,ORA-12162: TNS:net service name is incorrectly specified
- AI——六(图层、蒙版)
- 怎么用一个显示器来显示和控制两台主机
- 前端基础(13):CSS3新增属性和选择器
- STM32自学笔记15-步进电机驱动项目-磁编码器MT6816驱动
- Thinkphp 表名下滑杠处理
- 《贫民窟的百万富翁》观后感
- 设计模式八(享元模式)
- npm 开启了npm run dev以后怎么退出或关闭
热门文章
- 华为云CCE及CCE turbo(k8s)网络能力原理分析
- springMVC @RequestBody 在自动封装实体的时候如果实体比较复杂(比如实体中有子实体),会出现封装不了的情况
- 2021Android精选面试实战总结整理,面试心得体会
- 推荐系统遇上深度学习(一零三)-[京东百度]用于电商推荐系统多目标排序的DMT模型...
- 悲观者的力量:我也能做到
- kubernetes实现spring cloud服务平滑升级的一种解决方案
- (附源码)计算机毕业设计SSM在线评教系统
- 黑马程序员基础加强 泛型
- C语言quantity用法,Quantity-of-light adjusting device
- 2021-06-13-TL431-输出5V