运用python进行相关性统计检验

本文主要记录了python对数据进行相关性统计检验的实现方法。

主要是：

1、连续变量VS连续变量：皮尔逊相关系数

2、分类变量VS分类变量：卡方检验

3、连续变量VS多分类变量：F检验

4、连续变量VS二分类变量：若连续变量满足正态分布，则用t检验，否则应用曼-惠特尼U检验

主要的python脚本如下：

from sklearn.feature_selection import SelectKBest,chi2
from scipy import stats
from  scipy.stats import ttest_ind, levenedef corr_continue_continue(series_1,series_2):corr = pearsonr(series_1,series_2)[1]return corr
def corr_cate_cate(series_1,series_2):series_1 = np.array(series_1).reshape(-1,1)model1 = SelectKBest(chi2, k=1)model1.fit_transform(series_1, series_2)corr = model1.scores_[0]p_value = model1.pvalues_[0]return corr,p_value
def corr_continue_multicate(fenlei_series_1,lianxu_series_2):f,p = stats.f_oneway(fenlei_series_1,lianxu_series_2)return f,p
def normal_test(series):u = series.mean()std = series.std()statistic,pvalue = stats.kstest(series,'norm',(u,std))return statistic,pvalue
def corr_continue_twocate(data,fenlei_var,lianxu_var):fenlei = list(set(data[fenlei_var]))series_1 = data[lianxu_var][data[fenlei_var]==fenlei[0]]series_2 = data[lianxu_var][data[fenlei_var]==fenlei[1]]stats_1,pvalue_1 = normal_test(series_1)stats_2,pvalue_2 = normal_test(series_2)if pvalue_1 < 0.05 or pvalue_2 < 0.05:t_value,p_value = stats.mannwhitneyu(series_1,series_2,alternative='two-sided')else:_,levene_p_value = levene(series_1,series_2)if levene_p_value>0.05:t_value,p_value = ttest_ind(series_1,series_2)else:t_value,p_value = ttest_ind(series_1,series_2,equal_var=False)return t_value,p_value,pvalue_1,pvalue_2

运用python进行相关性统计检验相关推荐

python进行各项统计检验_运用python进行相关性统计检验
本文主要记录了python对数据进行相关性统计检验的实现方法. 主要是: 1.连续变量VS连续变量:皮尔逊相关系数 2.分类变量VS分类变量:卡方检验 3.连续变量VS多分类变量:F检验 4.连续变量 ...
python 相关性分析_数据分析---用Python进行相关性分析(兼谈假设检验)
一.相关关系和相关系数世上除了因果关系,还有相关关系. 有一个叫"相关系数"的指标来量化两个事物之间的相关程度. 其中相关系数用"r"表示,取值范围介于-1和 ...
如何用python进行相关性分析_Python 数据相关性分析
概述在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对 ...
如何用python进行相关性分析_Python文章相关性分析---金庸武侠小说分析
最近常听同事提及相关性分析,正巧看到这个google的开源库,并把相关操作与调试结果记录下来. 小说集可以百度<金庸小说全集 14部>全(TXT)作者:金庸下载下来. 需要整理好格式,门 ...
Python特征分析- 相关性分析
Python特征分析- 相关性分析相关性分析引入库图示初判变量之间的线性相关性散点图矩阵初判多变量间关系 Pearson相关系数创建样本数据正态性检验 → pvalue >0.05 ...
几组数据的相关性python_数据分析---用Python进行相关性分析(兼谈假设检验)
一.相关关系和相关系数世上除了因果关系,还有相关关系. 有一个叫"相关系数"的指标来量化两个事物之间的相关程度. 其中相关系数用"r"表示,取值范围介于-1和 ...
Python数据相关性分析
概述在我们的工作中,会有一个这样的场景,有若干数据罗列在我们的面前,这组数据相互之间可能会存在一些联系,可能是此增彼涨,或者是负相关,也可能是没有关联,那么我们就需要一种能把这种关联性定量的工具来对 ...
如何用python进行相关性分析_如何利用python进行时间序列分析
题记:毕业一年多天天coding,好久没写paper了.在这动荡的日子里,也希望写点东西让自己静一静.恰好前段时间用python做了一点时间序列方面的东西,有一丁点心得体会想和大家分享下.在此也要特别 ...
python绘制相关性矩阵_python seaborn heatmap可视化相关性矩阵实例
方法import pandas as pd import numpy as np import seaborn as sns df = pd.DataFrame(np.random.randn(50) ...
Python笔记-相关性分析（连续变量和分类变量）
概念相关性分析:两个连续变量之间的关系检验. Pearson相关系数:衡量两个变量的线性相关关系: Spearman相关系数:衡量两个变量的线性相关关系,部分非线性的也可以衡量: Kendall相关 ...

运用python进行相关性统计检验

运用python进行相关性统计检验相关推荐

最新文章

热门文章