Ridge Regression （岭回归）

API

class sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True, normalize=False, copy_X=True, max_iter=None, tol=0.001, solver=’auto’, random_state=None)
岭回归是一种正则化方法，通过在损失函数中加入L2范数惩罚系项，来控制线性模型的复杂程度，从而使模型更加稳健。参数alpha：{float，array-like}，shape（n_targets）正则化参数α项，其值越大正则化项越大。其必须是正浮点数。 正则化改善了问题的条件并减少了估计的方差。Alpha对应于其他线性模型（如Logistic回归或LinearSVC）中的C^-1。 如果传递数组，则假定惩罚被特定于目标。 因此，它们必须在数量上对应。fit_intercept：boolean是否计算此模型的截距，即b值。如果为False，则不计算b值（模型会假设你的数据已经中心化）copy_X：boolean，可选，默认为True如果为True，将复制X; 否则，它可能被覆盖。max_iter：int，可选共轭梯度求解器的最大迭代次数。如果为None，则为默认值（不同silver的默认值不同） 对于'sparse_cg'和'lsqr'求解器，默认值由scipy.sparse.linalg确定。 对于'sag'求解器，默认值为1000。normalize：boolean，可选，默认为False如果为真，则回归X将在回归之前被归一化。 当fit_intercept设置为False时，将忽略此参数。 当回归量归一化时，注意到这使得超参数学习更加鲁棒，并且几乎不依赖于样本的数量。 相同的属性对标准化数据无效。 然而，如果你想标准化，请在调用normalize = False训练估计器之前，使用preprocessing.StandardScaler处理数据。solver：{'auto'，'svd'，'cholesky'，'lsqr'，'sparse_cg'，'sag'}指定求解最优化问题的算法：'auto'：根据数据类型自动选择求解器。'svd'：使用X的奇异值分解来计算Ridge系数。对于奇异矩阵比'cholesky'更稳定。'cholesky'：使用标准的scipy.linalg.solve函数来获得闭合形式的解。'sparse_cg'：使用在scipy.sparse.linalg.cg中找到的共轭梯度求解器。作为迭代算法，这个求解器比大规模数据（设置tol和max_iter的可能性）的“cholesky”更合适。'lsqr'：使用专用的正则化最小二乘常数scipy.sparse.linalg.lsqr。它是最快的，但可能不是在旧的scipy版本可用。它还使用迭代过程。'sag'：使用随机平均梯度下降。它也使用迭代过程，并且当n_samples和n_feature都很大时，通常比其他求解器更快。注意，“sag”快速收敛仅在具有近似相同尺度的特征上被保证。您可以使用sklearn.preprocessing的缩放器预处理数据。所有最后四个求解器支持密集和稀疏数据。但是，当fit_intercept为True时，只有'sag'支持稀疏输入。新版本0.17支持：随机平均梯度下降解算器。tol：float。解的精度，制定判断迭代收敛与否的阈值。random_state：int seed，RandomState实例或None（默认）仅用于'sag'求解器。如果为整数，则它指定了随机数生成器的种子。如果为RandomState实例，则指定了随机数生成器。如果为None，则使用默认的随机数生成器。 新版本0.17：random_state支持随机平均渐变。属性coef_：array，shape（n_features，）或（n_targets，n_features）权重向量。intercept_：float | array，shape =（n_targets，）决策函数的独立项，即截距b值。 如果fit_intercept = False，则设置为0.0。n_iter_：array或None，shape（n_targets，）每个目标的实际迭代次数。 仅适用于sag和lsqr求解器。 其他求解器将返回None。在版本0.17中出现。

方法

fit（X，y [，sample_weight]）：训练模型。

get_params（[deep]）：获取此估计器的参数。

predict（X）：使用线性模型进行预测，返回预测值。

score（X，y [，sample_weight]）：返回预测性能的得分，不大于1，越大效果越好。

set_params（** params）设置此估计器的参数。

Lasso Regression

API

class sklearn.linear_model.Lasso(alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyclic'属性：alpha：float, optional。正则项参数。常数。默认值1.0。alpha=0时转化为最小二乘估计，由线性回归模型求解。使用Lasso模型时，通常令alpha≠0。fit_intercept：boolean, optional, default True。是否计算截距。如果为False，对数据进行去中心化处理。normalize：boolean, optional, default False。当fit_intercept=False时，该参数忽略。如果为normalize=True，使用回归模型之前先对回归数据X进行去均值和除以l2范数的处理。如果要对数据X进行标准化，令normalize=False，并在调用fit方法之前，使用sklearn.preprocessing.StandardScaler进行标准化。precompute：True | False | array-like, default=False是否使用事先计算好的Gram矩阵来加速模型计算。如果precompute='auto'，让程序自动决定。Gram矩阵可以作为参数被传递。对于稀疏数据，通常令precompute=True，保留稀疏性。copy_X：boolean, optional, default True如果copy_X=True，复制X；如果copy_X=False，覆盖上次运行的X。max_iter：int, optional最大迭代次数。tol：float, optional优化容忍度：如果更新大于tol，继续优化，直到小于tol。warm_start：bool, optional如果warm_start=True，使用上次的解作为初始化；如果warm_start=False，清除之前的解。positive：bool, optional如果positive=True，强制将系数设为正数。random_state：int, RandomState instance or None, optional, default None伪随机数发生器种子，随机选择特征来更新模型。如果为int，random_state即为随机数发生器使用的种子；如果为RandomState实例，random_state即为随机数发生器；如果为None，随机数发生器为np.random使用的随机数发生器实例。该参数仅当selection=‘random’时使用。selection：str, default ‘cyclic’如果为‘random’，每次迭代都会更新随机系数，而不是按顺序遍历每个特征。该参数值可以使得算法更快收敛，尤其当tol>1e-4时。坐标轴下降法的下降形式属性（Attributes）coef_：array, shape (n_features,) | (n_targets, n_features)系数向量。目标函数中的w。sparse_coef_：scipy.sparse matrix, shape (n_features, 1) | (n_targets, n_features)求解的coef_的稀疏表示。intercept_：float | array, shape (n_targets,)决策函数的依赖项。n_iter_：int | array-like, shape (n_targets,)坐标下降法求解达到容忍度时的迭代次数。

方法

fit(X,y,sample_weight=None):X:numpy array或稀疏矩阵，shape(n_samples,n_features)。训练数据y:numpy array,shape(n_samples,n_targets),对应的目标值sample_weight:numpy array,shape(n_samples)，每个样本单独的权值。返回一个训练好的线性模型。get_params(deep=True):获取模型的参数，返回一个string到任意可能值的映射predict(X):对给定的数据X进行预测X:arrat-like对象或稀疏矩阵。shape(n_samples,n_features)。待测样本返回：array,shape(n_samples,),对输入的预测结果score(X,y,sample_weight=None):计算对于X,y的R^2值。R^2=1-u/v. u= ((y_true - y_pred) ** 2).sum() ,v=((y_true - y_true.mean()) ** 2).sum()X:测试样例，array-like对象,shape(n_samples,n_features)y:X的真实目标值,array-like对象,shape(n_samples,)或者(n_samples, n_outputs)sample_weight:array-like对象,shape(n_samples,),样本的独立权值。返回对应的R^2值，floatset_params(**params):设置参数。

Elasitc Net（弹性网络）

class sklearn.linear_model.ElasticNet(alpha=1.0, l1_ratio=0.5, fit_intercept=True, normalize=False, precompute=False, max_iter=1000, copy_X=True, tol=0.0001, warm_start=False, positive=False, random_state=None, selection=’cyclic’)参数：alpha : alpha:正则化项中alpha值。l1_ratio：ρ值，ElasticNet混合参数，其中0 <= l1_ratio <= 1。对于l1_ratio = 0，惩罚为L2范数。 对于l1_ratio = 1，为L1范数。 对于0 <l1_ratio<1，惩罚是L1和L2的组合。fit_intercept：一个布尔值，制定是否需要b值。max_iter：一个整数，指定最大迭代数。normalize：一个布尔值。如果为True，那么训练样本会在回归之前会被归一化。copy_X：一个布尔值。如果为True，会复制X，否则会覆盖X。precompute：一个布尔值或者一个序列。它决定是否提前计算Gram矩阵来加速计算。Gram也可以传递参数， 对于稀疏输入，此选项始终为“True”以保留稀疏性。tol：一个浮点数，指定判断迭代收敛与否的一个阈值。warm_start：一个布尔值。如果为True，那么使用前一次训练结果继续训练，否则从头开始训练。positive：一个布尔值。如果为True，那么强制要求权重向量的分量都为整数。selection：一个字符串，可以选择‘cyclic’或者‘random’。它指定了当每轮迭代的时候，选择权重向量的哪个分量来更新。‘ramdom’：更新的时候，随机选择权重向量的一个分量来更新。‘cyclic’：更新的时候，从前向后一次选择权重向量的一个分量来更新。random_state：一个整数或者一个RandomState实例，或者None。 如果为整数，则它指定了随机数生成器的种子。如果为RandomState实例，则指定了随机数生成器。如果为None，则使用默认的随机数生成器。 属性：coef_：权重向量。intercept：b值。n_iter_：实际迭代次数。

方法

fix(X,y[,sample_weight])：训练模型。
predict(X)：用模型进行预测，返回预测值。
score(X,y[,sample_weight])：返回预测性能的得分，不大于1，越大效果越好。
get_params（[deep]）：获取此估计器的参数。
set_params（** params）：设置此估计器的参数。

案例：葡萄酒质量预测

import numpy as np
import matplotlib as mpl
import matplotlib.pyplot as plt
import pandas as pd
import warnings
import sklearn
from sklearn.linear_model import LinearRegression, LassoCV, RidgeCV, ElasticNetCV
from sklearn.preprocessing import PolynomialFeatures  # 数据预处理，标准化
from sklearn.pipeline import Pipeline
from sklearn.linear_model.coordinate_descent import ConvergenceWarning# 设置字符集，防止中文乱码
mpl.rcParams['font.sans-serif'] = [u'simHei']
mpl.rcParams['axes.unicode_minus'] = False
# 拦截异常，不显示异常
warnings.filterwarnings(action='ignore', category=ConvergenceWarning)# 创建模拟数据
np.random.seed(100)
np.set_printoptions(linewidth=1000, suppress=True)  # 显示方式设置，每行的字符数用于插入换行符，是否使用科学计数法
N = 10
x = np.linspace(0, 6, N) + np.random.randn(N)
y = 1.8 * x ** 3 + x ** 2 - 14 * x - 7 + np.random.randn(N)
# 将其设置为矩阵
x.shape = -1, 1
y.shape = -1, 1# RidgeCV和Ridge的区别是：前者可以进行交叉验证
models = [Pipeline([('Poly', PolynomialFeatures(include_bias=False)),('Linear', LinearRegression(fit_intercept=False))]),Pipeline([('Poly', PolynomialFeatures(include_bias=False)),# alpha给定的是Ridge算法中，L2正则项的权重值，也就是ppt中的兰姆达# alphas是给定CV交叉验证过程中，Ridge算法的alpha参数值的取值的范围('Linear', RidgeCV(alphas=np.logspace(-3, 2, 50), fit_intercept=False))]),Pipeline([('Poly', PolynomialFeatures(include_bias=False)),('Linear', LassoCV(alphas=np.logspace(0, 1, 10), fit_intercept=False))]),Pipeline([('Poly', PolynomialFeatures(include_bias=False)),# la_ratio：给定EN算法中L1正则项在整个惩罚项中的比例，这里给定的是一个列表；# 表示的是在CV交叉验证的过程中，EN算法L1正则项的权重比例的可选值的范围('Linear', ElasticNetCV(alphas=np.logspace(0, 1, 10), l1_ratio=[.1, .5, .7, .9, .95, 1], fit_intercept=False))])
]# 线性模型过拟合图形识别
plt.figure(facecolor='w')
degree = np.arange(1, N, 4)  # 阶
dm = degree.size
colors = []  # 颜色
for c in np.linspace(16711680, 255, dm):colors.append('#%06x' % int(c))model = models[0]
for i, d in enumerate(degree):plt.subplot(int(np.ceil(dm / 2.0)), 2, i + 1)plt.plot(x, y, 'ro', ms=10, zorder=N)# 设置阶数model.set_params(Poly__degree=d)# 模型训练model.fit(x, y.ravel())lin = model.get_params('Linear')['Linear']output = u'%d阶，系数为：' % (d)# 判断lin对象中是否有对应的属性if hasattr(lin, 'alpha_'):idx = output.find(u'系数')output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]if hasattr(lin, 'l1_ratio_'):idx = output.find(u'系数')output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]print(output, lin.coef_.ravel())x_hat = np.linspace(x.min(), x.max(), num=100)  ## 产生模拟数据x_hat.shape = -1, 1y_hat = model.predict(x_hat)s = model.score(x, y)z = N - 1 if (d == 2) else 0label = u'%d阶, 正确率=%.3f' % (d, s)plt.plot(x_hat, y_hat, color=colors[i], lw=2, alpha=0.75, label=label, zorder=z)plt.legend(loc='upper left')plt.grid(True)plt.xlabel('X', fontsize=16)plt.ylabel('Y', fontsize=16)plt.tight_layout(1, rect=(0, 0, 1, 0.95))
plt.suptitle(u'线性回归过拟合显示', fontsize=22)
plt.show()## 线性回归、Lasso回归、Ridge回归、ElasticNet比较
plt.figure(facecolor='w')
degree = np.arange(1, N, 2)  # 阶， 多项式扩展允许给定的阶数
dm = degree.size
colors = []  # 颜色
for c in np.linspace(16711680, 255, dm):colors.append('#%06x' % int(c))
titles = [u'线性回归', u'Ridge回归', u'Lasso回归', u'ElasticNet']for t in range(4):model = models[t]  # 选择了模型--具体的pipeline(线性、Lasso、Ridge、EN)plt.subplot(2, 2, t + 1)  # 选择具体的子图plt.plot(x, y, 'ro', ms=10, zorder=N)  # 在子图中画原始数据点； zorder：图像显示在第几层# 遍历不同的多项式的阶，看不同阶的情况下，模型的效果for i, d in enumerate(degree):# 设置阶数(多项式)model.set_params(Poly__degree=d)# 模型训练model.fit(x, y.ravel())# 获取得到具体的算法模型# model.get_params()方法返回的其实是一个dict对象，后面的Linear其实是dict对应的key# 也是我们在定义Pipeline的时候给定的一个名称值lin = model.get_params()['Linear']# 打印数据output = u'%s:%d阶，系数为：' % (titles[t], d)# 判断lin对象中是否有对应的属性if hasattr(lin, 'alpha_'):  # 判断lin这个模型中是否有alpha_这个属性idx = output.find(u'系数')output = output[:idx] + (u'alpha=%.6f, ' % lin.alpha_) + output[idx:]if hasattr(lin, 'l1_ratio_'):  # 判断lin这个模型中是否有l1_ratio_这个属性idx = output.find(u'系数')output = output[:idx] + (u'l1_ratio=%.6f, ' % lin.l1_ratio_) + output[idx:]# line.coef_：获取线性模型的参数列表，也就是我们ppt中的theta值，ravel()将结果转换为1维数据print(output, lin.coef_.ravel())# 产生模拟数据x_hat = np.linspace(x.min(), x.max(), num=100)  ## 产生模拟数据x_hat.shape = -1, 1# 数据预测y_hat = model.predict(x_hat)# 计算准确率s = model.score(x, y)# 当d等于5的时候，设置为N-1层，其它设置0层；将d=5的这条线凸显出来z = N + 1 if (d == 5) else 0label = u'%d阶, 正确率=%.3f' % (d, s)plt.plot(x_hat, y_hat, color=colors[i], lw=2, alpha=0.75, label=label, zorder=z)plt.legend(loc='upper left')plt.grid(True)plt.title(titles[t])plt.xlabel('X', fontsize=16)plt.ylabel('Y', fontsize=16)
plt.tight_layout(1, rect=(0, 0, 1, 0.95))
plt.suptitle(u'各种不同线性回归过拟合显示', fontsize=22)
plt.show()

机器学习接口代码之 Ridge、Lasso、Elasitc Net相关推荐

【人工智能】机器学习：岭回归与LASSO回归(Ridge/LASSO Regression)
机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 文章目录机器学习:岭回归与LASSO回归 (Ridge / LASSO Regression) 1. Ridg ...
ML之FE：基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测
ML之FE:基于LiR/Ridge/Lasso/ElasticNet/AvgModels/RF算法(GSCV) 利用某市房价数据集(特征工程处理)进行房价回归预测目录输出结果设计思路核心代码 ...
手写算法-python代码实现Ridge(L2正则项)回归
手写算法-python代码实现Ridge回归 Ridge简介 Ridge回归分析与python代码实现方法一:梯度下降法求解Ridge回归参数方法二:标准方程法实现Ridge回归调用sklear ...
机器学习实用代码汇总（你想要的这里都有）
机器学习实用代码汇总(你想要的这里都有) 文章目录机器学习实用代码汇总(你想要的这里都有) 前言一.数据导入 1.数据文件读取 2.提取特征和标签 3.数据分布及关系图(ProfileReport ...
机器学习实战代码注释svm_使用经典机器学习模型动手进行毒性分类并最大程度地减少注释的意外偏见...
机器学习实战代码注释svm In this blog, I will try to explain a Toxicity polarity problem solution implementatio ...
ADMM,ISTA,FISTA算法步骤详解，MATLAB代码，求解LASSO优化问题
ADMM,ISTA,FISTA算法步骤详解,MATLAB代码,求解LASSO优化问题原创文章!转载需注明来源:©️ Sylvan Ding's Blog ❤️ 实验目的了解 ADMM, ISTA, ...
机器学习简单代码示例
机器学习简单代码示例 //在gcc-4.7.2下编译通过. //命令行:g++ -Wall -ansi -O2 test.cpp -o test #include <iostream> u ...
PHP调用wsdl文件类型的接口代码分享
本文给大家分享了一个PHP调用wsdl文件类型的接口代码,非常的简单也很实用,有相关需求的小伙伴们可以直接拿去用的. 复制代码代码如下: <?php // 本类由系统自动生成,仅供测试用途 c ...
gin context和官方context_Go Web 小技巧（一）简化Gin接口代码
不知道大家在使用 Gin 构建 API 服务时有没有这样的问题: 参数绑定的环节可不可以自动处理? 错误可不可以直接返回,不想写空 return, 漏写就是 bug 本文通过简单地封装,利用 go 的 ...

机器学习接口代码之 Ridge、Lasso、Elasitc Net

Ridge Regression （岭回归）

API

方法

Lasso Regression

API

方法

Elasitc Net（弹性网络）

方法

案例：葡萄酒质量预测

机器学习接口代码之 Ridge、Lasso、Elasitc Net相关推荐

最新文章

热门文章