回归分析：逻辑斯蒂回归模型，非线性分类任务案例

逻辑斯蒂回归模型

上节内容，我们得到逻辑斯蒂回归模型,需要注意虽然名称叫做回归模型，但是它是解决分类任务，公式如下：

y=11+e−(wTX+b)y = \frac {1}{1+e^{-(w^T X +b)}}y=1+e−(wTX+b)1

上节中，我们使用逻辑回归模型完成了线性可分的任务，那么，如果线性不可分任务，逻辑回归任务可以完成吗？

同样，我们可以将自变量x的数据，进行多项式特征扩展，扩展后的数据特征可以完成非线性分类任务。

非线性分类任务分割案例

1.我们尝试使用函数构建两类不能线性划分的随机样本点。

2.使用预处理函数PolynomialFeatures，构建多项式特征。
3.训练模型
4.使用contourf绘制等高线，进行分类决策可视化。

import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
from sklearn.metrics import classification_report
from sklearn.datasets import make_gaussian_quantiles
from sklearn.preprocessing import PolynomialFeaturesnp.random.seed(2)
count=100
data=[]
for i in range(count):x1=np.random.normal(1,2)res1=x1*x1+1+np.random.normal(0.00,3)data.append([x1,res1,1])x2=np.random.normal(1,2)res2=x2*x2+16+np.random.normal(0.00,3)data.append([x2,res2,0])data =pd.DataFrame(data)x1_data=np.array(data[0])
x2_data=np.array(data[1])
plt.scatter(x1_data,x2_data,c=data[2])
plt.show()
x_data=data.iloc[:,:2]
y_data=data.iloc[:,2]
# 生成2维正态分布，生成的数据按分位数分为两类，500个样本，2个样本特征
# 可以生成两类或者多类数据
# x_data, y_data = make_gaussian_quantiles(n_samples=500, n_features=2, n_classes=2)# 定义多项式回归，degree的值可以调节多项式的特征
poly_reg = PolynomialFeatures(degree=3)  # 得到非线性方程y = theta0+theta1*x1+theta2*x1^2+theta3*x1*x2+theta4*x^2所需的样本数据
# 特征处理(获取多项式相应特征所对应的样本数据)
x_poly = poly_reg.fit_transform(x_data)# 训练模型
model = linear_model.LogisticRegression()
model.fit(x_poly, y_data)# 获取数据值所在的范围
x_min, x_max = x1_data.min() - 1, x1_data.max() + 1
y_min, y_max = x2_data.min() - 1, x2_data.max() + 1# 生成网格矩阵
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.02), np.arange(y_min, y_max, 0.02))
# 测试点的预测值
z = model.predict(poly_reg.fit_transform(np.c_[xx.ravel(), yy.ravel()]))
for i in range(len(z)):if z[i] > 0.5:z[i] = 1else:z[i] = 0z = z.reshape(xx.shape)
# 绘制等高线图
cs = plt.contourf(xx, yy, z)
plt.scatter(x1_data, x2_data, c=y_data)# 计算准确率，召回率，F1值
print(classification_report(y_data, model.predict(x_poly)))
print('score:', model.score(x_poly, y_data))
plt.show()

回归分析：逻辑斯蒂回归模型，非线性分类任务案例相关推荐

逻辑斯蒂分布模型、二项逻辑斯蒂回归模型、多项逻辑斯蒂回归模型
一.逻辑斯蒂分布/回归模型模型描述的是一种什么样的事件或现象: 设X是连续随机变量,X服从逻辑斯蒂回归分布是指X具有下列分布函数和密度函数: 附上逻辑斯蒂分布的密度函数与分布函数,如下: 物理含义, ...
回归分析：逻辑斯蒂回归模型，可视化分类决策边界
文章目录逻辑斯蒂回归模型逻辑斯蒂回归模型python案例逻辑斯蒂回归模型前面的例子都是在用线性模型解决回归任务,那么线性模型能否完成分类任务呢?相较于回归任务,分类任务的预测值是离散的,比如二 ...
回归分析（三）二项逻辑斯蒂回归模型
回归分析(三)二项逻辑斯蒂回归学了一段时间突然又遇到逻辑斯蒂回归,结果发现已经忘完了,所以今天重新梳理一下. (1)逻辑斯蒂分布先看一下逻辑斯蒂分布函数F(x)F(x)F(x),其概率密度 ...
用二项逻辑斯蒂回归解决二分类问题
逻辑斯蒂回归: 逻辑斯蒂回归是统计学习中的经典分类方法,属于对数线性模型.logistic回归的因变量可以是二分类的, 也可以是多分类的基本原理 logistic 分布折X是连续的随机变量,X服从 ...
理解逻辑斯蒂回归模型
逻辑斯蒂回归是一个非常经典的二项分类模型,也可以扩展为多项分类模型.其在应用于分类时的过程一般如下,对于给定的数据集,首先根据训练样本点学习到参数w,b;再对预测点分别计算两类的条件概率,将预测点判为 ...
数据挖掘-二项逻辑斯蒂回归模型算法的R实现
本次为学生时期所写的实验报告,代码程序为课堂学习和自学,对网络程序有所参考,如有雷同,望指出出处,谢谢! 基础知识来自教材:李航的<统计学习方法> 本人小白,仍在不断学习中,有错误的地方恳 ...
逻辑斯蒂回归模型——逻辑斯蒂分布、二项逻辑斯蒂回归模型、参数估计与多项逻辑斯蒂回归
本笔记整理自李航老师<统计学习方法>第二版第六章逻辑斯蒂回归是统计学习中经典的分类方法. 逻辑斯蒂分布 F(x)=P(X≤x)=11+e−(x−μ)/γF(x) = P(X\leq x ...
逻辑斯蒂回归java_逻辑斯蒂回归模型
http://blog.csdn.net/hechenghai/article/details/46817031 主要参照统计学习方法.机器学习实战来学习.下文作为参考. 第一节中说了,logisti ...
【机器学习】逻辑斯蒂回归原理推导与求解
1.概念逻辑斯蒂回归又称为"对数几率回归",虽然名字有回归,但是实际上却是一种经典的分类方法,其主要思想是:根据现有数据对分类边界线(Decision Boundary)建立回归 ...

回归分析：逻辑斯蒂回归模型，非线性分类任务案例

逻辑斯蒂回归模型

非线性分类任务分割案例

回归分析：逻辑斯蒂回归模型，非线性分类任务案例相关推荐

最新文章

热门文章