python logistics regression_Python——sklearn 中 Logistics Regression 的 coef_ 和 intercept

sklearn 中 Logistics Regression 的 coef_ 和 intercept_ 的具体意义

使用sklearn库可以很方便的实现各种基本的机器学习算法，例如今天说的逻辑斯谛回归(Logistic Regression)，我在实现完之后，可能陷入代码太久，忘记基本的算法原理了，突然想不到coef_和intercept_具体是代表什么意思了，就是具体到公式中的哪个字母，虽然总体知道代表的是模型参数。

正文

我们使用 sklearn 官方的一个例子来作为说明，源码可以从这里下载，下面我截取其中一小段并做了一些修改：

import numpy as np

import matplotlib.pyplot as plt

from sklearn.datasets import make_blobs

from sklearn.linear_model import LogisticRegression

# 构造一些数据点

centers = [[-5, 0], [0, 1.5], [5, -1]]

X, y = make_blobs(n_samples=1000, centers=centers, random_state=40)

transformation = [[0.4, 0.2], [-0.4, 1.2]]

X = np.dot(X, transformation)

clf = LogisticRegression(solver='sag', max_iter=100, random_state=42, multi_class=multi_class).fit(X, y)

print clf.coef_

print clf.intercept_

输出如图：

可以看到clf.coef_是一个3×2(n_class, n_features)的矩阵，clf.intercept_是一个1×3的矩阵(向量)，那么这些到底是什么意思呢？

我们来回顾一下 Logistic 回归的模型：

\[ h_\theta(x) = \frac{1}{1 + e^{(-\theta^Tx)} } \]

其中 $\theta$是模型参数，其实 $\theta^Tx$就是一个线性表达式，将这个表达式的结果再一次利用 Logistic 函数映射到 0~1 之间。

知道了这个，也就可以搞清楚那个clf.coef_和clf.intercept_了： clf.coef_和clf.intercept_就是 $ \theta $，下面我们来验证一下：

i = 100

print 1 / (1 + np.exp(-(np.dot(X[i].reshape(1, -1), cc.T) + clf.intercept_)))

# 正确的类别

print y[i]

print clf.predict_proba(X[i].reshape(1, -1))

print clf.predict_log_proba(X[i].reshape(1, -1))

输出结果:

python logistics regression_Python——sklearn 中 Logistics Regression 的 coef_ 和 intercept_ 的具体意义...相关推荐

sklearn 中 Logistics Regression 的 coef_ 和 intercept_ 的具体意义
使用sklearn库可以很方便的实现各种基本的机器学习算法,例如今天说的逻辑斯谛回归(Logistic Regression),我在实现完之后,可能陷入代码太久,忘记基本的算法原理了,突然想不到coe ...
sklearn中Logistics Regression的coef_和intercept_的具体意义
使用sklearn库可以很方便的实现各种基本的机器学习算法,例如今天说的逻辑斯谛回归(Logistic Regression),我在实现完之后,可能陷入代码太久,忘记基本的算法原理了,突然想不到 co ...
python使用sklearn中的make_blobs函数生成聚类（clustering）分析需要的仿真数据、matplotlib可视化生成的仿真数据
python使用sklearn中的make_blobs函数生成聚类(clustering)分析需要的仿真数据.matplotlib可视化生成的仿真数据目录
python使用sklearn中的make_classification函数生成分类模型（classification）需要的仿真数据、使用pandas查看生成数据的特征数据、目标数据
python使用sklearn中的make_classification函数生成分类模型(classification)需要的仿真数据.使用pandas查看生成数据的特征数据(features).目标 ...
Python中sklearn中HistGradientBoostingRegressor回归器配置单调约束参数monotonic_cst提高回归模型的抗噪声以及局部扰动的能力
Python中sklearn中HistGradientBoostingRegressor回归器配置单调约束参数monotonic_cst提高回归模型的抗噪声以及局部扰动的能力目录
Python之 sklearn：sklearn中的train_test_split函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn中的train_test_split函数的简介及使用方法之详细攻略目录 sklearn中的train_test_split函数的简介 train_tes ...
Python之 sklearn：sklearn中的RobustScaler 函数的简介及使用方法之详细攻略
Python之 sklearn:sklearn中的RobustScaler 函数的简介及使用方法之详细攻略目录 sklearn中的RobustScaler 函数的简介及使用方法 sklearn中的R ...
python pca降维_机器学习之sklearn中的降维算法
1. PCA与SVD sklearn中降维算法都被包括在模块decomposition中,这个模块本质是一个矩阵分解模块.在过去的十年中,如果要讨论算法进步的先锋,矩阵分解可以说是独树一帜.矩阵分解可 ...
python中fit_Python sklearn中的.fit与.predict的用法说明
我就废话不多说了,大家还是直接看代码吧~ clf=KMeans(n_clusters=5) #创建分类器对象 fit_clf=clf.fit(X) #用训练器数据拟合分类器模型 clf.predict ...

python logistics regression_Python——sklearn 中 Logistics Regression 的 coef_ 和 intercept_ 的具体意义...

python logistics regression_Python——sklearn 中 Logistics Regression 的 coef_ 和 intercept_ 的具体意义...相关推荐

最新文章

热门文章