Kaggle实战（一）：数据相关性分析

1.特征相关性分析

# 导入必要模块
import numpy as np # linear algebra
import pandas as pd # data processing, CSV file I/O (e.g. pd.read_csv)
import matplotlib.pyplot as plt
import seaborn as sns  # 一个简单的画图函数
color = sns.color_palette()%matplotlib inline# 利用pandas读取数据
dpath = 'F:/Python_demo/XGBoost/data/'train = pd.read_csv(dpath + "AllstateClaimsSeverity_train.csv") print(train.head(5))  # 显示前5行数据
print(train.info())  # 显示数据相关信息

split = 117  # 分割位置
size = 15  # 总共提取的列数
data=train.iloc[:,split:]  # 提取列数据cols=data.columns   # 返回列名
data_corr = data.corr().abs()  # 计算相关系数，并取绝对值
# print(data_corr)plt.subplots(figsize=(13, 9))  # 设置画布尺寸，画出热力图
sns.heatmap(data_corr,annot=True)  # annot=True 格子上显示数字
sns.heatmap(data_corr, mask=data_corr < 1, cbar=False)
plt.show()

# 寻找相关系数大于0.5的列
threshold = 0.5# List of pairs along with correlation above threshold
corr_list = []#Search for the highly correlated pairs
for i in range(0,size): #for 'size' featuresfor j in range(i+1,size): #avoid repetitionif (data_corr.iloc[i,j] >= threshold and data_corr.iloc[i,j] < 1) or (data_corr.iloc[i,j] < 0 and data_corr.iloc[i,j] <= -threshold):corr_list.append([data_corr.iloc[i,j],i,j]) #store correlation and columns index#Sort to show higher ones first
s_corr_list = sorted(corr_list,key=lambda x: -abs(x[0]))
#Print correlations and column names
for v,i,j in s_corr_list:print ("%s and %s = %.2f" % (cols[i],cols[j],v))

cont11 and cont12 = 0.99
cont1 and cont9 = 0.93
cont6 and cont10 = 0.88
cont6 and cont13 = 0.82
cont1 and cont10 = 0.81
cont6 and cont9 = 0.80
cont9 and cont10 = 0.79
cont6 and cont12 = 0.79
cont6 and cont11 = 0.77
cont1 and cont6 = 0.76
cont7 and cont11 = 0.75
cont7 and cont12 = 0.74
cont10 and cont12 = 0.71
cont10 and cont13 = 0.71
cont10 and cont11 = 0.70
cont6 and cont7 = 0.66
cont9 and cont13 = 0.64
cont9 and cont12 = 0.63
cont1 and cont12 = 0.61
cont9 and cont11 = 0.61
cont1 and cont11 = 0.60
cont1 and cont13 = 0.53
cont4 and cont8 = 0.53

# 画出相关系数大于0.5的散点分布图
for v,i,j in s_corr_list:sns.pairplot(train, height=6, x_vars=cols[i],y_vars=cols[j] )plt.show()

cont11 和 cont12 几乎是线性，可以移除

Kaggle实战（一）：数据相关性分析相关推荐

如何用python进行相关性分析_Python 数据相关性分析
概述在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对 ...
几组数据的相关性python_python数据相关性分析（计算相关系数）
原博文 2018-05-28 15:54 − #-*- coding: utf-8 -*- #餐饮销量数据相关性分析计算相关系数 from __future__ import print_funct ...
几组数据的相关性python_Python 数据相关性分析
概述在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对 ...
R语言淮河流域水库水质数据相关性分析、地理可视化、广义相加模型GAM调查报告...
采样地点:淮河流域一带,昭平台水库.白龟山水库.燕山水库.石漫滩水库.板桥水库.宿鸭湖水库.博山水库.南湾水库.石山口水库.五岳水库.泼河水库.鲶鱼山水库(点击文末"阅读原文"获取 ...
Python数据相关性分析
概述在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对 ...
R语言数据相关性分析（相关系数和p值）及可视化
此篇为转载R语言学习笔记之相关性矩阵分析及其可视化数据相关性分析及可视化 1. 新建数据集 2. Hmisc 3. 可视化相关系数矩阵 4. chart.Correlation()来自于包Perfo ...
Python数据相关性分析实践记录
数据分析是很多建模挖掘类任务的基础,也是非常重要的一项工作,在我之前的系列博文里面已经详细介绍过很多数据分析相关的内容和实践工作了,与之对应的最为常见的分析手段就是热力图可视化分析了,这里我简单给出来 ...
pandas数据相关性分析_使用Pandas，SciPy和Seaborn进行探索性数据分析
pandas数据相关性分析 In this post we are going to learn to explore data using Python, Pandas, and Seaborn. ...
数据分析之数据相关性分析
相关性分析作者:学者科技时间:2022/12/25 应用场景发现数据之间的关联性比如啤酒和尿布删减统计指标比如城市里的温度传感器,相关性强的可以去掉以节约成本挑选回归建模的变量 ...

Kaggle实战（一）：数据相关性分析

Kaggle实战（一）：数据相关性分析相关推荐

最新文章

热门文章