机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)

Lasso算法

Lasso算法（least absolute shrinkage and selection operator，又译最小绝对值收敛和选择算子、套索算法）是一种同时进行特征选择和正则化（数学）的回归分析方法，旨在增强统计模型的预测准确性和可解释性，最初由斯坦福大学统计学教授Robert Tibshirani于1996年基于Leo Breiman的非负参数推断(Nonnegative Garrote, NNG)提出[1][2]。

Lasso算法最初用于计算最小二乘法模型，这个简单的算法揭示了很多估计量的重要性质，如估计量与岭回归（Ridge regression，也叫Tikhonov regularization）和最佳子集选择的关系，Lasso系数估计值(estimate)和软阈值（soft thresholding）之间的联系。它也揭示了当协变量共线时，Lasso系数估计值不一定唯一（类似标准线性回归）。Lasso是一种缩减方法，将回归系数收缩在一定的区域内。Lasso的主要思想是构造一个一阶惩罚函数获得一个精确的模型, 通过最终确定一些变量的系数为0进行特征筛选。以两个变量为例，标准线性回归的cost function还是可以用二维平面的等值线表示，而约束条件则与岭回归的圆不同，Lasso的约束条件可以用方形表示，如图:

机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)相关推荐

【数据结构与算法 10】算法的时间复杂度和空间复杂度
最近在研究数据结构与算法,在B站中找到了小甲鱼的<数据结构与算法课程>,挺有意思的! 尚硅谷Java数据结构与java算法,韩顺平数据结构与算法对于一个算法来说,分析有两步,第一是从数学 ...
机器学习必学10大算法
点击"小詹Python","星标"或"置顶" 关键时刻,第一时间送达本文授权转载自机器之心未经许可禁止二次转载本文介绍了 10 大常用 ...
机器学习--线性回归2（共线性问题、岭回归、lasso算法）
上一节我们讲了线性回归的一元线性回归和多元线性回归,其中多元线性回归在求解的过程中又分为满秩和非满秩的情况,进而引出了的最大释然估计进行处理,后面详细的对回归误差进行了分析,最后误差来源于平方偏置.方 ...
机器学习算法系列（五）- Lasso回归算法（Lasso Regression Algorithm）
阅读本文需要的背景知识点:线性回归算法.一丢丢编程知识最近笔者做了一个基于人工智能实现音乐转谱和人声分离功能的在线应用--反谱(Serocs),感兴趣的读者欢迎试用与分享,感谢您的支持!serocs ...
lasso算法及其实现
缘起这篇博客的想法来源于知乎的一个关于多元线性回归的变量选择问题. 从该问题的提问描述,以及回答中看出,很多人在做变量选择时,眼光依然局限于R 2 R2或者Ajusted−R 2 Ajusted ...
自适应lasso_Logistic模型自适应组Lasso算法
Logistic 模型自适应组 Lasso 算法崔琨鹏赵强 [摘要] 摘要本文将自适应 Lasso 与组 Lasso 进行结合得到了自适应组 Lasso, 给出了拥有自适应组 Lasso 惩 ...
sklearn之LASSO算法应用
sklearn之LASSO算法应用前言: 本文介绍LASSO算法理论以及sklearn中Lasso算法如何调用和使用一.LASSO算法和岭回归算法对比 •Tibshirani(1996)提出了La ...
Sci-learn LASSO算法进行线性回归
Lasso通过减少特征的数量,保留核心特征的方法提高训练效果.根据数据的稀疏性进行正则化模型的方法叫做LASSO算法(least absolute shrinkage and selection op ...
机器学习必知必会10大算法！
Datawhale干货作者:Fahim ul Haq,编译:InfoQ 现在,机器学习有很多算法.如此多的算法,可能对于初学者来说,是相当不堪重负的.今天,我们将简要介绍 10 种最流行的机器学习算 ...

机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)

Lasso算法

机器学习与算法（10）--Lasso算法(least absolute shrinkage and selection operator)相关推荐

最新文章

热门文章