Hypothesis Testing

1.中心极限定理Central Limit Theorem
- 1.1 X ˉ \bar{X} Xˉ的抽样分布
- 1.2 p ^ \hat{p} p^的抽样分布
- 1.3 二项的正态逼近
2.假设检验概念
- 2.1 零假设与备则假设
- 2.2 如何制定决策规则
3.假设性检验步骤
- 3.1假设检验框架
- 3.2术语定义
- 3.3 proportion test步骤
- 3.4 符号检验 sign test

1.中心极限定理Central Limit Theorem

当总体是非正态分布且样本容量足够大时，使用正态分布来近似任何统计量的抽样分布。
两种应用:

1.1 X ˉ \bar{X} Xˉ的抽样分布

•考虑从一个具有平均偏差μ和标准偏差σ的总体(任何总体)中选择的n个观察的随机样本。当n够大(n≥30)、 X ˉ \bar{X} Xˉ的抽样分布将近似正态分布均值μ和标准差 σ n \frac{σ}{\sqrt{n}} n σ。象征性地, X ˉ ≈ ( μ , σ n ) \bar{X}\approx(\mu,\frac{σ}{\sqrt{n}}) Xˉ≈(μ,n σ),近似。
•如果随机样本n是从正态整体中选取，则 X ˉ \bar{X} Xˉ的抽样分布是正态分布; X ˉ ∼ ( μ , σ n ) \bar{X}\sim(\mu,\frac{σ}{\sqrt{n}}) Xˉ∼(μ,n σ)精确。

1.2 p ^ \hat{p} p^的抽样分布

X ：具有感兴趣特征的元素的数量是一个二项式随机变量， p ^ = x n \hat{p}=\frac{x}{n} p^=nx的抽样分布实际上遵循二项分布。如果样本大小是足够大的，那么可以用正常的经验法则来近似: n > 25，np > 5，以及 q = 1-p 的 nq > 5

随机变量标准化

例子

1.3 二项的正态逼近

•如果X ~ Bin(n, p)且n足够大，则可近似为Y，其中 Y ∼ N ( μ = n p , σ = n p q ) Y\sim N(\mu=np,\sigma=\sqrt{npq}) Y∼N(μ=np,σ=npq )
•经验法则:n > 25, np > 5，和nq > 5
•校正连续性调整
•当离散分布近似为连续分布时，需要连续性校正。从离散随机变量X的值上加或减0.5是连续性校正。
•例如，如果X ~ Bin(n=100, p=0.7)，近似p (X > 25)。
P(X > 25) = 1 - P(X≤25.5)≈1 - P(Y≤25.5)

eg.假设从一个正在进行的生产过程中随机获得n = 100个相同类型的轮胎样本，其中8%的轮胎是有缺陷的。
•在这样一个样品中有超过10个轮胎有缺陷的确切概率是多少?

•在这样一个样品中，缺陷轮胎超过10个的近似概率是多少?

2.假设检验概念

2.1 零假设与备则假设

零假设 Null Hypothesis (H0)
H0是普遍接受的事实
使用=号指定，即使≤或≥
示例，H0: μ= 3

备择假设 Alternative Hypothesis(H1)
与零假设相反
如果H0被拒绝，通常代表了一个新的理论(研究问题)。
总是不等号:<、>、或≠
示例，H1:μ< 3

假设检验的四种可能结果

2.2 如何制定决策规则

临界值的方法 Critical value approach
如果测试统计量落在拒绝区域，则拒绝H0
P值即概率，反映某一事件发生的可能性大小。

如果 P<0.01，说明是较强的判定结果，拒绝假定的参数取值。
如果 0.01<P值<0.05，说明较弱的判定结果，拒接假定的参数取值。
如果 P值>0.05，说明结果更倾向于接受假定的参数取值

假定值的方法 P-value approach
如果假定值<α则否定H0
α=P(I类错误)
α在检验开始前被指定
典型值是0.01、0.25、0.05、0.10（常用为 0.05）

置信区间的方法 Confidence interval approach
如果空值(在H0中指定的值)位于置信区间之外，则拒绝H0

3.假设性检验步骤

3.1假设检验框架

对于每个假设检验，我们使用以下框架:
H
建立了两个假设:H0和H1。
A
陈述测试的假设，并证明这些假设从样本中是否有效。
T
陈述检验统计量，并且假设H0为真，它的分布。
说明哪些值反对H0。
找到测试统计量的观察值。
计算P值，表示在H0为真的情况下观察该样本(或更极端)的概率。
C
根据p值的大小权衡结论。

3.2术语定义

Null hypothesis H0是默认的假设:我们当前认为是正确的。
假设H1是关于总体的新假设。
假设通常用未知的总体参数表示。例如H0:μ= 5。
如果是这样，那么备选假设可以采取两种形式:1边假设(H1:μ> 5或H1:μ< 5)或2边假设(H1:/= 5)。
我如何决定一个1或2边测试?这个决定不能受到数据的影响(“数据窥探”)——我们必须在进行实际测试之前明确假设。因此，我们总是使用双侧测试，除非我们有预先的证据(例如以前的报告)建议使用单侧测试。

这些假设对于测试的有效性是必要的。我们从样本中检查它们是否有效。

检验统计量τ是一个随机变量，其分布取决于未知参数。
从样本中计算出测试统计量τobs的观测值。
查看可调整的分布，以确定哪些值将与H1的H0争论。
假设检验涉及到一些关于随机变量的理论，其中每一个可能的值{T0}都作为H0的一些证据。假设检验根据观察值对证据和H0进行权衡。

p值是在H0下观察到τ的概率，或更极端(或不寻常)的概率。
p值小，要么表示H0为真，但样本非常罕见，要么表示H0为假。
p值越小，H1对H0不利的证据越强。
p值大表示样本与H0一致。
临界区域是使H0被拒绝的。C
“(零假设)是……从未被证明或建立，但可能被推翻，在实验的背景下。每一个实验的存在都只是为了给事实一个机会来反驳无效假设。(罗纳德·费舍尔，《实验设计》，1935年，第19页)。
没有最终的证据证明H0是对的还是错的。
结论是不‘接受’H0或H1，因为我们已经假设H0为真。也就是说，我们并没有证明H0是真的，而是在寻找证据来证明它是否是假的。
I如果p值很小，说明存在不利于H0的证据。如果p值是不小，那么它表明数据是一致的H0
通过’小’，一个常见的惯例是，是也就是说，对于p < 0.05，我们建议有不利于H0的证据。

3.3 proportion test步骤

对于关于未知总体比例p的假设，我们执行以下步骤。
H H0: p = p0 vs H1: p < p0n次试验是独立的，概率为常数p。
T τ = X =在H0下成功的数量~ Bin(n, p0)
对于H1, x的小值会与H0争论。
观测值为x,
P P-value = P(x≤x)。
C衡量p值。经验法则是拒绝H0，因为p值< 0.05 =α。

P-values假定值:
如果备选假设是H1: p > p0，那么对于H1, x的较大值将与H0发生争论，因此对应的p值为p (X≥x)。
如果交替假设为双侧H1: p /= p0，那么对于H1, x的大小值都与H0相反，相关的p值为p (|x-np0|≥|x-np0|)。
在p0 = 12的特殊情况下，两边的p值降为
X > n/2时, P-value = 2P(X≥X)。
X < n/2时，P-value = 2P(X≤X)。
如果n很大，那么我们可以使用CLT(上周)来找到p值的近似值。我们找到近似的标准Y ~ N(np0, np0(1- p0))，然后使用R或标准化标准值并查找标准表。

IVF案例

3.4 符号检验 sign test

符号检验是一种巧妙的方法，它有效地扩大了比例检验的适用性。它允许“比例”检验用于检验关于平均值或中位数的假设。
我们从H0:µ=µ0(或H0:˜µ=˜µ0)H0: p + = 0.5,通过考虑的比例差异的迹象{签署(ξµ0)}这是积极的。
注意:如果任何观测值等于零假设值xi = l0，则从样本中消除它们。这假设只有几个’ 0 '，因为它有效地减少了样本大小。

假设单个样本x1, x2，…， xn取未知类型的连续分布。
我们想测试H0:µ=µ0(或H0:˜µ=˜µ0)。
如果我们假设分布是对称的，那么如果H0成立，每个观测值都等可能在H0之上或之下。
考虑不同符号的集合sign(x1 - µ0),sign(x2 - µ0)… …sign(xn - µ0)
定义X =关于Bin(n, p+)的+号数量，其中p+ = p(+差)。
那么H0:µ=µ0 就等于H0:P+=0.5

符号测试步骤

案例：freeze dried coffee

统计基础（四）假设检验相关推荐

数学基础3-数理统计
一序本文属于极客时间基础课学习笔记系列.这些课程做基础是偏重感性上的理解而不是严格意义的公式推导.就是老师不会逐个给你讲解具体每个公式大的含义,相当于你得有数学基础帮你复习下,要是像我这种小白,没 ...
推断统计 | 学习笔记 (全)
一.概率与概率分布概率论:为解决不确定性问题提供方法 1.随机事件及其概率基本概念试验:在相同条件下,对事物或现象所进行的观察.特点是可以在相同的条件下重复进行:每次试验的可能结果不止一个,但试 ...
四、CDA数据分析师系列_从零进阶_数据分析的统计基础_简明笔记
目录 1.数据分析概述 1.1 什么是数据分析 1.2 数据分析六部曲 1.2.1 明确分析目的和内容 1.2.2 数据收集 1.2.3 数据预处理 1.2.4 数据分析 1.2.5 数据展现 1.2 ...
R语言四格表的统计分析及假设检验
R语言四格表与列联表的统计分析及假设检验卡方检验是一种确定两个分类变量之间是否存在显着相关性的统计方法. 这两个变量应该来自相同的人口,他们应该是类似是/否,男/女,红/绿等. 例如,我们可以建立 ...
统计系列（四）利用Python进行假设检验
统计系列(四)利用Python进行假设检验 z检验主要应用场景:在大样本量的总体比例检验核心:两样本的总体比例差异单样本比例检验 # 检验样本合格率与0.38是否有差异 import numpy ...
统计基础：3.2_假设检验的两类错误
假设检验中的两类错误 1.Ⅰ.Ⅱ类错误及其产生的原因 2.两类错误的关系以及影响因素 3.如何控制两类错误 1.Ⅰ.Ⅱ类错误及其产生的原因虽然小概率事件发生的概率很小,但依然有可能发生.由于抽样 ...
概率统计基础（三）：常见分布与假设检验
这次概率统计学习基于:Datawhale概率统计组队学习文档 1. 写在前面这次借着在Datawhale组织的概率统计专题学习的机会再重新温习一遍数学基础,所谓机器学习和深度学习, 背后的逻辑都是数 ...
Machine Learning on Spark——第四节统计基础（二)
作者:周志湖微信号:zhouzhihubeyond 本节主要内容 Correlation 相关性分析分层采样(Stratified sampling) 随机数据生成(Random data gen ...
统计基础（五）假设检验中的检验方法
Testing for Means 1.R语言的统计分布函数 2.如何制定决策规则 2.1假设检验与置信区间的关系 2.2假设检验的步骤 3.独立总体&相关总体 3.1两个平均数之间的差值 4 ...

统计基础（四）假设检验

Hypothesis Testing

1.中心极限定理Central Limit Theorem

1.1 X ˉ \bar{X} Xˉ的抽样分布

1.2 p ^ \hat{p} p^的抽样分布

1.3 二项的正态逼近

2.假设检验概念

2.1 零假设与备则假设

2.2 如何制定决策规则

3.假设性检验步骤

3.1假设检验框架

3.2术语定义

3.3 proportion test步骤

3.4 符号检验 sign test

统计基础（四）假设检验相关推荐

最新文章

热门文章

统计基础（四）假设检验

Hypothesis Testing

1.中心极限定理Central Limit Theorem

1.1 X ˉ \bar{X} Xˉ的抽样分布

1.2 p ^ \hat{p} p^​的抽样分布

1.3 二项的正态逼近

2.假设检验概念

2.1 零假设与备则假设

2.2 如何制定决策规则

3.假设性检验步骤

3.1假设检验框架

3.2术语定义

3.3 proportion test步骤

3.4 符号检验 sign test

统计基础（四）假设检验相关推荐

最新文章

热门文章

1.2 p ^ \hat{p} p^的抽样分布