sklearn 使用最小二乘法

2024-05-27 15:43:34

sklearn 使用最小二乘法

一. 说明:

sklearn中最小二乘法，拟合的直线是特征的线性组合:

y ^ ( w , x ) = w 0 + w 1 x 1 + . . . + w p x p \hat{y}(w, x) = w_0 + w_1 x_1 + ... + w_p x_p y^(w,x)=w0+w1x1+...+wpxp

损失函数定义:

w = ( w 1 , . . . , w p ) T w = (w_1,..., w_p)^T w=(w1,...,wp)T

X w = [ x 11 x 12 . . . x 1 p ⋮ ⋮ ⋱ ⋮ x n 1 x n 2 . . . x n p ] [ w 1 w 2 ⋮ w p ] X w = \begin{bmatrix} x_{11}&x_{12} &...&x_{1p}\\ \vdots&\vdots &\ddots&\vdots\\ x_{n1}&x_{n2} &...&x_{np}\\ \end{bmatrix} \begin{bmatrix}w_1\\w_2\\\vdots\\w_p\end{bmatrix} Xw=⎣⎢⎡x11⋮xn1x12⋮xn2...⋱...x1p⋮xnp⎦⎥⎤⎣⎢⎢⎢⎡w1w2⋮wp⎦⎥⎥⎥⎤

l o s s f u n c t i o n = min ⁡ w ∣ ∣ X w − y ∣ ∣ 2 2 loss\ function = \min_{w} || X w - y||_2^2 loss function=wmin∣∣Xw−y∣∣22

二. 举例使用

❗️ sklearn 中 ( w 1 , . . . , w p ) (w_1,..., w_p) (w1,...,wp) 作为 coef_ ， w 0 w_0 w0 作为 intercept_

# 最小二乘法用于sklearn中的线性回归,引入它。
from sklearn import linear_model
reg = linear_model.LinearRegression()def foo(x1,x2): # w0 = 5, w1 = 2, w2 = 3return 2 * x1 + 3 * x2 + 5"""生成测试数据 X,y
X 10行2列
y 10行1列
"""
X = [[i,(i+1)/2] for i in range(10)]
y = [foo(i,(i+1)/2) for i in range(10)]# 根据参数拟合直线
reg.fit(X,y)# 输出 w1,w2 = [2.8, 1.4]
print(reg.coef_)# 输出 w0 = 5.8
print(reg.intercept_)"""拟合直线: y = 2.8 * x1 + 1.4 * x2 + 5.8
"""#  用生成的直线进行预测
print(reg.predict(X))

sklearn 使用最小二乘法相关推荐

机器学习：线性回归I 最小二乘法
原文在此线性回归是最基础和常见的算法,属于监督学习的一种,是讲述算法开始的地方.我们在中学.大学学过很多次,虽然我已完全不记得.线性回归作为基础,虽然simple但不意味着easy,对其掌握很重要的 ...
基于sklearn的线性回归模型实现多变量决策树
多变量决策树 1 多变量决策树简介 2 实现思路 3 代码中的函数说明 3.1 class TreeNode 3.2 trainLinear 3.3 binaryTrainSet 3.4 score ...
python统计分析--3.线性回归四种算法
文章目录 1. 最小二乘法 1.1 最小二乘法 1.2 正则化回归 1.3 SGD随机梯度下降法 2. 相关分析几种加速方法 statsmodel–>sklearn ols最小二乘法,运算时间 ...
普通最小二乘法平面直线回归问题的三种实现(Python)
最小二乘法(Least Squares Method)由马里·勒让德在1806年发现,距今已经有两个世纪.它是一种数学回归分析工具,可以应用于误差估计.不确定性度量.预测等任务. 关于用矩阵求解最小二 ...
仿京东开放平台框架，开发自己的开放平台（包含需求，服务端代码，SDK代码）...
目录 1开放平台需求 1.1调用参数 1.2签名算法 2服务端代码,Java举例 2.1接口入口代码 2.2业务逻辑层 2.3基础工具类 3.SDK代码,Java举例 4.集成SDK,代码举例现在开 ...
13_线性回归分析、线性模型、损失函数、最小二乘法之梯度下降、回归性能评估、sklearn回归评估API、线性回归正规方程，梯度下降API、梯度下降和正规方程对比
1.线性回归 1.1 线性模型试图学得一个通过属性的线性组合来进行预测的函数: 1.2 定义定义:线性回归通过一个或者多个自变量与因变量之间进行建模的回归分析.其中特点为一个或多个称为回归系数的模 ...
机器学习-02 基于sklearn 广义线性模型-普通最小二乘法
机器学习基于sklearn-02 从sklearn说起线性回归普通最小二乘法案例分析重要代码解释线性回归回归分析的主要工作,是根据统计获得的数据点来训练出一个函数表达式,根据这个函数表达 ...
线性回归最小二乘法计算步骤以及sklearn参数介绍
介绍线性回归是特征与标签之间建立一个关系来描绘特征和标签之间的关系. 预测函数的本质就是我们构建的模型,而构造的函数核心就是找出模型的参数向量w 最小二乘法(解析解)求解W 通过已知的MSE损失函数 ...
【sklearn】线性回归、最小二乘法、岭回归、Lasso回归
文章目录机器学习的sklearn库一.回归分析 <1.1>线性回归 1.1.1.Python实现线性回归 <1.2>最小二乘法 1.2.1.MATLAB实现最小二乘法 1. ...

最新文章

热门文章