08- 数据升维 (PolynomialFeatures) (数据处理)

在做数据升维的时候，最常见的手段就是将已知维度进行相乘（或者自乘）来构建新的维度
- 使用 np.concatenate()进行简单的，幂次合并，注意数据合并的方向axis = 1
- 数据可视化时，注意切片，因为数据升维后，多了平方这一维

# 4、多项式升维 + 普通线性回归
X = np.concatenate([X,X**2],axis = 1)

使用 PolynomialFeatures 进行特征升维

from sklearn.preprocessing import PolynomialFeatures
poly = PolynomialFeatures()   # 使用PolynomialFeatures进行特征升维
poly.fit(X,y)
X = poly.transform(X)

调整字体大小: plt.rcParams[ 'font.size' ] = 18

import matplotlib.pyplot as plt
plt.rcParams['font.size'] = 18

1.1、多项式回归基本概念

对于多项式回归来说主要是为了扩展线性回归算法来适应更广泛的数据集，比如我们数据集有两个维度 $x_1, x_2$ ，那么用多元线性回归公式就是： $\hat{y} = w_0 + w_1x_1 + w_2x_2$ ，当我们使用二阶多项式升维的时候，数据集就从原来的 $x_1, x_2$ 扩展成了 $x_1, x_2, x_1^2, x_2^2, x_1x_2$ 。因此多元线性回归就得去多计算三个维度所对应的w值： $\hat{y} = w_0 + w_1x_1 + w_2x_2 + w_3x_1^2 + w_4x_2^2 + w_5x_1x_2$ 。

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression# 1、创建数据，并进行可视化
X = np.linspace(-1,11,num = 100)
y = (X - 5)**2 + 3*X -12 + np.random.randn(100)
X = X.reshape(-1,1)
plt.scatter(X,y)# 2、创建预测数据
X_test = np.linspace(-2,12,num = 200).reshape(-1,1)# 3、不进行升维 + 普通线性回归
model_1 = LinearRegression()
model_1.fit(X,y)
y_test_1 = model_1.predict(X_test)
plt.plot(X_test,y_test_1,color = 'red')# 4、多项式升维 + 普通线性回归
X = np.concatenate([X,X**2],axis = 1)
model_2 = LinearRegression()
model_2.fit(X,y)
# 5、测试数据处理，并预测
X_test = np.concatenate([X_test,X_test**2],axis = 1)
y_test_2 = model_2.predict(X_test)# 6、数据可视化，切片操作
plt.plot(X_test[:,0],y_test_2,color = 'green')

1.2 使用PolynomialFeatures进行特征升维

import matplotlib.pyplot as plt
import numpy as np
from sklearn.preprocessing import PolynomialFeatures,StandardScaler
from sklearn.linear_model import SGDRegressor# 1、创建数据，并进行可视化
X = np.linspace(-1,11,num = 100)
y = (X - 5)**2 + 3*X -12 + np.random.randn(100)
X = X.reshape(-1,1)
plt.scatter(X,y)# 3、使用PolynomialFeatures进行特征升维
poly = PolynomialFeatures()   # 特征升维
poly.fit(X,y)
X = poly.transform(X)
s = StandardScaler()    # 归一化
X = s.fit_transform(X)# 4、训练模型
model = SGDRegressor(penalty='l2',eta0 = 0.01)
model.fit(X,y)# 2、创建预测数据
X_test = np.linspace(-2,12,num = 200).reshape(-1,1)
X_test = poly.transform(X_test)      # 特征升维
X_test_norm = s.transform(X_test)    # 归一化
y_test = model.predict(X_test_norm)
plt.plot(X_test[:,1],y_test,color = 'green')

1.3 多项式预测

天猫双十一销量与年份的关系是多项式关系！假定，销量和年份之间关系是三次幂关系：

${\color{Red} f(x) = w_1x + w_2x^2 + w_3x^3 + b}$

import numpy as np
from sklearn.linear_model import SGDRegressor
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
plt.figure(figsize=(12,9))# 1、创建数据，年份数据2009 ~ 2019
X = np.arange(2009,2020)
y = np.array([0.5,9.36,52,191,350,571,912,1207,1682,2135,2684])# 2、年份数据，均值移除，防止某一个特征列数据天然的数值太大而影响结果
X = X - X.mean()
X = X.reshape(-1,1)# 3、构建多项式特征，3次幂
poly = PolynomialFeatures(degree=3)
X = poly.fit_transform(X)
s = StandardScaler()
X_norm = s.fit_transform(X)# 4、创建模型
model = SGDRegressor(penalty='l2',eta0 = 0.5,max_iter = 5000)
model.fit(X_norm,y)# 5、数据预测
X_test = np.linspace(-5,6,100).reshape(-1,1)
X_test = poly.transform(X_test)
X_test_norm = s.transform(X_test)
y_test = model.predict(X_test_norm)# 6、数据可视化
plt.plot(X_test[:,1],y_test,color = 'green')
plt.bar(X[:,1],y)
plt.bar(6,y_test[-1],color = 'red')
plt.ylim(0,4096)
plt.text(6,y_test[-1] + 100,round(y_test[-1],1),ha = 'center')
_ = plt.xticks(np.arange(-5,7),np.arange(2009,2021))

08- 数据升维 (PolynomialFeatures) (数据处理)相关推荐

numpy的array数组的数据升维与降维使用方法自学总结
本文主要介绍numpy中数据升维与降维问题升维注意数组的形式是n行1列还是1行n列 1.numpy.atleast_2d(数组名) 将输入视为至少具有二维的数组 2.numpy.atleast ...
python升维方法_python机器学习12：数据“升维”
1.向数据集添加交互式特征在实际应用中,常常会遇到数据集的特征不足的情况,要解决这个问题,就需要对数据集的特征进行扩充.这里我们介绍两种在统计建模中常用的方法---交互式特征(Interaction ...
算法笔记（18）数据升维及Python代码实现
数据集特征不足的情况下,需要对数据集的特征进行扩充,两种方法:交互式特征和多项式特征. 向特征集添加交互式特征交互式特征是在原始数据特征中添加交互项,使特征数量增加. Python代码实现: X_m ...
python升维方法_数据升维
我们在实际应用中会遇到数据集特征不足的情况,要解决这个问题,就需要对数据集的特征进行扩充, 一般使用两种方法: 交互式特征(Interaction Features) 多项式特征(Ploynomial ...
数据升维到希尔伯特空间
将数据转换到希尔伯特空间前言向量空间:也称线性空间(线性空间对加法和数乘是封闭的,即输出结果仍在该空间内).该空间集合中对应的元素是向量.二维.三维空间中每个点都可用唯一个向量来表示,因此也是向量 ...
numpy数据升维与降维
https://blog.csdn.net/weixin_44776220/article/details/105618704
核函数是什么-数据的升维与降维
核函数是什么-数据的升维与降维核函数是什么-数据的升维与降维数据升维-从二维空间升维到三维希尔伯特空间将二维空间数据x=(xi,xj)x=(x^i,x^j)x=(xi,xj)升到三维,因此需要映 ...
哈儿小波分解和重构（降维和升维）实现算法
[0]README 0.1)本文旨在讲解哈儿小波变换(分解和重构)进行数据的降维和升维: [timestamp: 1703281610]时隔几个月再来review 哈儿小波变换算法的具体思路: 1) ...
[机器学习与scikit-learn-33]：算法-回归-通过PolynomialFeatures实现数据的升维
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...

08- 数据升维 (PolynomialFeatures) (数据处理)

1.1、多项式回归基本概念

1.2 使用PolynomialFeatures进行特征升维

1.3 多项式预测

08- 数据升维 (PolynomialFeatures) (数据处理)相关推荐

最新文章

热门文章