python使用t检验和F检验验证模型好坏

要在某个指标上对比两个模型的好坏，我们可以直接进行比较，同时为了使比较结果更具说服力，我们可以使用统计检验的方法，即将两个模型分别跑k次，使用t检验比较这两组k个样本的均值、使用F检验比较这两组k个样本的方差，均值越大、方差越小说明在当前指标上该模型更好更稳定（这里说的指标是正向指标）。那么下面我们以具体代码来进行说明。

from scipy.stats import ttest_rel, f
import numpy as np# 模型一10组实验结果
x = [44.2, 36.1, 46.5, 40.7, 61.6, 55.4, 59.9, 55.2, 65.5, 58.5]
# 模型二10组实验结果
y = [44.1, 35.9, 45.6, 39.5, 60.1, 55.1, 59.9, 54.2, 65.6, 58.2]print('t检验结果：p值')
print(ttest_rel(x, y))# 计算组内样本方差
var1 = np.var(x, ddof=1)
var2 = np.var(y, ddof=1)
# 计算统计量F
F = var1 / var2
# 计算自由度
df1 = len(x) - 1
df2 = len(y) - 1
# 计算p值
p_value = 1 - 2 * abs(0.5 - f.cdf(F, df1, df2))
print('F检验结果：p值')
print(p_value)

t检验和F检验结果如下：

t检验结果：p值
Ttest_relResult(statistic=3.048475214454681, pvalue=0.013826970451693616)
F检验结果：p值
0.9824793107664767

可以看到t检验的p值小于0.05，说明拒绝原假设，即两个模型在该指标上取值的均值有差异；F检验的p值大于0.05，说明接受原假设，即两个模型10组结果的稳定程度一致。

我们通过查看均值进一步对两个模型进行比较：

# 模型一实验结果均值
print(np.mean(x))
# 模型二实验结果均值
print(np.mean(y))

结果为：

52.36
51.82000000000001

通过上述比较，我们可以看到模型一和模型二实验结果稳定程度差不多，但模型一在当前指标上实验结果均值更大，说明模型一优于模型二。

参考

Python统计分析-配对样本t检验

在Python中使用P值进行F检验

python使用t检验和F检验验证模型好坏相关推荐

r语言林元震_方差分析--T检验和F检验的异同
方差分析--T检验和F检验的异同最近在图书馆借了本<R和ASReml-R统计分析教程>,林元震和陈晓阳主编的关于R的书籍,当时看上这本书的原因在于里面以统计学知识为主,作为R语言实战的良 ...
【通俗向】方差分析--T检验和F检验的异同
最近在图书馆借了本<R和ASReml-R统计分析教程>,林元震和陈晓阳主编的关于R的书籍,当时看上这本书的原因在于里面以统计学知识为主,作为R语言实战的良好补充,虽然R语言实战是一本相当详 ...
t检验自由度的意义_T检验和F检验自由度（转）
1,T检验和F检验的由来一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错的概率,我们会利用统计学家所开发的一些统计方法,进行统计检定. 通过把所得到的统计检定值,与统计学家建立了一 ...
t检验自由度的意义_T检验和F检验\自由度_f检验和t检验的区别
T检验和F检验\自由度_f检验和t检验的区别 1,T检验和F检验的由来一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错的概率,我们会利用统计学家所开发的一些统计方法,进行统计检定. ...
T检验和F检验的由来
1,T检验和F检验的由来 http://baike.baidu.com/link?url=e5JaLU5xO-44lEP42WkekMvPw4wuc6EIpd2EasBpCvxyl8YTQf60G_C ...
ADF单位根检验三种形式_第三章（下）：t 检验和 F 检验
应用不同的假设检验的依据,是不同的数据条件. 数据条件包括了实验设计方案(完全随机设计.配对设计或者单样本设计等).样本量.独立性.正态性.方差齐性等,由于数据条件和实验需求的不同,选择不同的检验方法 ...
python f检验模型拟合度_多元线性回归模型检验和预测
一.概述 (F检验)显著性检验:检测自变量是否真正影响到因变量的波动. (t检验)回归系数检验:单个自变量在模型中是否有效. 二.回归模型检验检验回归模型的好坏常用的是F检验和t检验.F检验验证的是 ...
python 多元线性回归的系数检验 t p值_多元线性回归检验t检验（P值），F检验，R方等参数的含义...
做线性回归的时候,检验回归方程和各变量对因变量的解释参数很容易搞混乱,下面对这些参数进行一下说明: 1.t检验:t检验是对单个变量系数的显著性检验一般看p值: 如果p值小于0.05表示该自 ...
通俗理解T检验与F检验的区别【转】
转自:http://blog.sina.com.cn/s/blog_4ee13c2c01016div.html 1,T检验和F检验的由来一般而言,为了确定从样本(sample)统计结果推论至总体时所 ...
T检验与F检验的区别和关系
转自于:http://www.cdadata.com/9116 1,T检验和F检验的由来一般而言,为了确定从样本(sample)统计结果推论至总体时所犯错的概率,我们会利用统计学家所开发的一些统计方 ...

python使用t检验和F检验验证模型好坏

python使用t检验和F检验验证模型好坏相关推荐

最新文章

热门文章