特征分别与标签之间的关系

分类问题中特征与标签[0,1]或者[-1,1]之间关系明显是非线性的关系。除非我们在拟合分类的概率，否则不存在例外。

当我们在进行分类的时候，我们的数据分布往往是这样的：

总结一下，对于回归问题，数据若能分布为一条直线，则是线性的，否则是非线性。对于分类问题，数据分布若能使
用一条直线来划分类别，则是线性可分的，否则数据则是线性不可分的。

线性模型与非线性模型处理非线性分布数据

，线性回归无法拟合出这条带噪音的正弦曲线的真实面貌，只能够模拟出大概的趋势（欠拟合），而决策树却
通过建立复杂的模型将几乎每个点都拟合出来了，容易过拟合。

线性模型、分箱（离散化）、非线性模型
线性模型的决策边界是平行的直线，非线性模型的决策边界是曲线或者交叉的直线。

线性数据：线性模型或者非线性模型
非线性数据：非线性模型、分箱（线性模型）

5.2 使用分箱处理非线性问题
让线性回归在非线性数据上表现提升的核心方法之一是对数据进行分箱，也就是离散化。

7. 如何选取最优的箱数

from sklearn.model_selection import cross_val_score as CVS
import numpy as np
pred,score,var = [], [], []
binsrange = [2,5,10,15,20,30]
for i in binsrange:#实例化分箱类enc = KBinsDiscretizer(n_bins=i,encode="onehot")#转换数据X_binned = enc.fit_transform(X)line_binned = enc.transform(line)#建立模型LinearR_ = LinearRegression()#全数据集上的交叉验证cvresult = CVS(LinearR_,X_binned,y,cv=5)score.append(cvresult.mean())var.append(cvresult.var())#测试数据集上的打分结果pred.append(LinearR_.fit(X_binned,y).score(line_binned,np.sin(line)))
#绘制图像
plt.figure(figsize=(6,5))
plt.plot(binsrange,pred,c="orange",label="test")
plt.plot(binsrange,score,c="k",label="full data")
plt.plot(binsrange,score+np.array(var)*0.5,c="red",linestyle="--",label = "var")
plt.plot(binsrange,score-np.array(var)*0.5,c="red",linestyle="--")
plt.legend()
plt.show()

5.3 多项式回归PolynomialFeatures

5.3.1 多项式对数据做了什么

我们的模型应该是形似y=ax+b 的结构，而转换后我们的特征变化导致了模型的变化。根据我们在支持向量机中的经验，现在这个被投影到更高维空间中的数据在某个角度上看起来已经是一条直线了，于是我们可以继续使用线性回归来进行拟合。线性回归是会对每个特征拟合出权重的，所以当我们拟合高维数据的时候，我们会得到下面的模型：
将原始的x 上的次方增加，并且为这些次方项都加上权重，然后增加一列所有次方为0的列作为截距乘数的，参
数include_bias就是用来控制的生成的。

因此，多项式回归没有固定的模型表达式，多项式回归的模型最终长什么样子是由数据和最高次数决定的，因此我们无法断言
说某个数学表达式"就是多项式回归的数学表达"，因此要求解多项式回归不是一件容易的事儿，感兴趣的大家可以自
己去尝试看看用最小二乘法求解多项式回归。

5.3.2 多项式回归处理非线性问题

import matplotlib.pyplot as plt
d=5 #和上面展示一致的建模流程
LinearR = LinearRegression().fit(X, y)
X_ = PF(degree=d).fit_transform(X)
LinearR_ = LinearRegression().fit(X_, y)
line = np.linspace(-3, 3, 1000, endpoint=False).reshape(-1, 1)
line_ = PF(degree=d).fit_transform(line) #放置画布
fig, ax1 = plt.subplots(1) #将测试数据带入predict接口，获得模型的拟合效果并进行绘制
ax1.plot(line, LinearR.predict(line), linewidth=2, color='green',label="linear regression")
ax1.plot(line, LinearR_.predict(line_), linewidth=2, color='red',label="Polynomial regression") #将原数据上的拟合绘制在图像上
ax1.plot(X[:, 0], y, 'o', c='k') #其他图形选项
ax1.legend(loc="best")
ax1.set_ylabel("Regression output")
ax1.set_xlabel("Input feature")
ax1.set_title("Linear Regression ordinary vs poly")
plt.tight_layout()
plt.show()

多项式的作用：
（1）特征选择。
（2）不仅数据的可解释性还存在，我们还可以通过这样的手段做特征工程——特征创造。多项式帮助我们进行了一系列特征之间相乘的组合，若能够找出组合起来后对标签贡献巨大的特征，那我们就是创造了新的有效特征，对于任何学科而言发现新特征都是非常有价值的。

5.3.4 线性还是非线性模型？

多项式回归通常被认为是非线性模型，但广义上它是一种特殊的线性模型。

非线性问题：多项式回归相关推荐

十二、案例：加利福尼亚房屋价值数据集（多元线性回归） Lasso 岭回归分箱处理非线性问题多项式回归
案例:加利福尼亚房屋价值数据集(线性回归)& Lasso & 岭回归 & 分箱处理非线性问题点击标题即可获取文章源代码和笔记 1. 导入需要的模块和库 from sklear ...
机器学习sklearn-多项式回归
目录线性关系线性模型和非线性模型利用线性回归解决非线性问题多项式回归线性模型线性关系首先,"线性"这个词用于描述不同事物时有着不同的含义.我们最常使用的线性是指&qu ...
机器学习-Sklearn-13（回归类大家族-下——非线性问题：多项式回归(多项式变换后形成新特征矩阵)）
机器学习-Sklearn-13(回归类大家族-下--非线性问题:多项式回归(多项式变换后形成新特征矩阵)) 5 非线性问题:多项式回归 5.1 重塑我们心中的"线性"概念在机器学 ...
回归分析（三）——多项式回归解决非线性问题
git源码:https://github.com/xuman-Amy/Regression-Analysis [将线性回归模型转换为曲线--多项式回归] 之前都是将解释变量和目标值之间的关系假设为线性 ...
sklear多项式回归
来源: https://www.icourse163.org/course/BIT-1001872001 多项式回归多项式回归(Polynomial Regression)是研究一个因变量与一个或 ...
多项式回归过拟合模型泛化模型误差
很过数据是没有线性关系的==>非线性 =>多项式模拟非线性曲线添加的特征是原来特征的线性组合==>解决非线性问题=>数据集升维 (PCA降维) 有时升维有时降维 ...
【skLearn 回归模型】多项式回归 PolynomialFeatures
文章目录一.多项式对数据的处理 ① 一维数据集简单案例 ---- (维度针对特征数而言) ② 多维数据集案例 ---- (维度针对特征数而言) ♦ 二维测试 ♦ 三维测试 ③ 多项式回归处理非线性问 ...
人工智能——多项式回归（Python）
目录 1.概述 1.1 有监督学习 1.2 多项式回归 2 概念 3 案例实现--方法1 3.1 案例分析 3.2 代码实现 3.3 结果 3.4 可视化 4 案例实现--方法2 4.1 代码 4.2 ...
使用sklearn学习多项式回归（三）
目录 1,什么是线性 1.1,变量之间的线性关系 1.2,数据间的线性与非线性 1.3,线性模型与非线性模型 1.4,使用分箱处理非线性问题 2,多项式回归PolynomialFeatures 2.1 ...

非线性问题：多项式回归