机器学习（一）： python三种特征选择方法

特征选择的三种方法介绍：

过滤型：

选择与目标变量相关性较强的特征。缺点：忽略了特征之间的关联性。
包裹型：

基于线性模型相关系数以及模型结果AUC逐步剔除特征。如果剔除相关系数绝对值较小特征后，AUC无大的变化，或降低，则可剔除
嵌入型：

利用模型提取特征，一般基于线性模型与正则化（正则化取L1）,取权重非0的特征。（特征纬度特别高，特别稀疏，用svd,pca算不动）

python 实现

"""1.过滤型"""
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2iris=load_iris()
X,y=iris.data,iris.target
print X.shape
X_new=SelectKBest(chi2,k=2).fit_transform(X,y)
print X_new.shape"""输出：(150L, 4L)(150L, 2L)""""""2.包裹型"""
from sklearn.feature_selection import RFE
from sklearn.linear_model import LinearRegression
from sklearn.datasets import load_bostonboston=load_boston()
X=boston["data"]
Y=boston["target"]
names=boston["feature_names"]lr=LinearRegression()
rfe=RFE(lr,n_features_to_select=1)#选择剔除1个
rfe.fit(X,Y)print "features sorted by their rank:"
print sorted(zip(map(lambda x:round(x,4), rfe.ranking_),names))"""输出：按剔除后AUC排名给出
features sorted by their rank:
[(1.0, 'NOX'), (2.0, 'RM'), (3.0, 'CHAS'), (4.0, 'PTRATIO'), (5.0, 'DIS'), (6.0, 'LSTAT'), (7.0, 'RAD'), (8.0, 'CRIM'), (9.0, 'INDUS'), (10.0, 'ZN'), (11.0, 'TAX')
, (12.0, 'B'), (13.0, 'AGE')]""""""3.嵌入型 ，老的版本没有SelectFromModel"""
from sklearn.svm import  LinearSVC
from sklearn.datasets import load_iris
from sklearn.feature_selection import SelectFromModeliris=load_iris()
X,y=iris.data,iris.target
print X.shapelsvc=LinearSVC(C=0.01,penalty='l1',dual=False).fit(X,y)
model=SelectFromModel(lsvc,prefit=True)
X_new=model.transform(X)
print X_new.shape"""输出：(150,4)(150,3)"""

机器学习（一）： python三种特征选择方法相关推荐

一文介绍机器学习中的三种特征选择方法
作者 | luanhz 来源 | 小数志导读机器学习中的一个经典理论是:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限.也正因如此,特征工程在机器学习流程中占有着重要地位.广义的特征 ...
python三种注释方法
python三种注释方法方式1: 单行注释:shift + #(在代码的最前面输入,非选中代码进行注释) 多行注释:同单行一样在每一行的前面输入shift + #(较麻烦了) 方式2: 单行和多行一 ...
按照100分制，90分以上成绩为A,80到90为B, 60到80为C,60一下为D,写一个程序，当用户输入分数，自动转换为ABCD的形式打印，Python三种解决方法
# method1暴力输入法: score=int(input("请输入一个分数:")) if 100>=score>=90: print("A&qu ...
python中保留小数_python保留小数位的三种实现方法
前言保留小数位是我们经常会碰到的问题,尤其是刷题过程中.那么在python中保留小数位的方法也非常多,但是笔者的原则就是什么简单用什么,因此这里介绍几种比较简单实用的保留小数位的方法: 方法一:fo ...
将python中的小数直接进位的函数_python保留小数位的三种实现方法
python保留小数位的三种实现方法前言保留小数位是我们经常会碰到的问题,尤其是刷题过程中.那么在python中保留小数位的方法也非常多,但是笔者的原则就是什么简单用什么,因此这里介绍几种比较简单 ...
Python 三种读文件方法read(), readline(), readlines()及去掉换行符\n
Python 三种读文件方法read(), readline(), readlines()及去掉换行符\n 首先, 让我们看下数据demo.txt, 就两行数据. 35durant teamGSW 1 ...
python保留两位小数_python保留小数位的三种实现方法
前言保留小数位是我们经常会碰到的问题,尤其是刷题过程中.那么在python中保留小数位的方法也非常多,但是笔者的原则就是什么简单用什么,因此这里介绍几种比较简单实用的保留小数位的方法: 方法一:fo ...
python三种方法实现阶乘
# python三种方法实现阶乘 # while循环实现阶乘 def fact(n):if n == 0:return 1 # 0 的阶乘为 1elif n < 0:return '负数没有阶乘 ...
python三种保留两位小数的方法
python三种保留两位小数方法汇总 1.'%.2f'%f 该方法会进行四舍五入代码如下所示: f = 2.3456789print('%.2f'%f) print('%.3f'%f) print( ...

机器学习（一）： python三种特征选择方法

特征选择的三种方法介绍：

python 实现

机器学习（一）： python三种特征选择方法相关推荐

最新文章

热门文章