小孩都看得懂的假设检验
全文共 2915 字,10 幅图,
预计阅读时间 8 分钟。
本文是「小孩都看得懂」系列的第十篇,本系列的特点是极少公式,没有代码,只有图画,只有故事。内容不长,碎片时间完全可以看完,但我背后付出的心血却不少。喜欢就好!
小孩都看得懂的神经网络
小孩都看得懂的推荐系统
小孩都看得懂的逐步提升
小孩都看得懂的聚类
小孩都看得懂的主成分分析
小孩都看得懂的循环神经网络
小孩都看得懂的 Embedding
小孩都看得懂的熵、交叉熵和 KL 散度
小孩都看得懂的假设检验
0
假设 + 检验
字面上看,假设检验(hypothesis testing)由“假设”和“检验”组成。假设是基于总体参数,而检验在样本上完成。
举个调查中国成年男性平均身高的例子,全国的成年男性就是总体,每个成年男性是个体。有时候普查所有成年男性金钱花费和时间成本太高,通常我们会抽取若干成年男性作为样本,而计算样本里的成年男性平均身高作为总体里的所有成年男性平均身高的推断。
现在来检验以下这个问题:
根据 2010 年的统计,中国所有成年男性平均身高为 1.72 米,在 2020 年他们是否平均长高了?
1
HO + HA
要检验某种观点(还不知真伪),需要创建两个互相排斥的假设,它们是:
无效假设(null hypothesis),用 H0 表示,因为下标 0 长得像字母 o,因此可发音为 HO。
备择假设(alternative hypothesis),用 HA 表示,发音为 HA。
HO 通常是常见且无聊的假设,而 HA 是罕见带惊喜的假设。
根据上述问题,我们列出 HOHA:
H0: 平均身高等于 1.72 米
HA: 平均身高大于 1.72 米
定义 μ 为总体成年男性的平均身高,用数学符号表示 HOHA:
H0: μ = 1.72
HA: μ > 1.72
这时我们只关心是否变高,二不关心是否变矮,这是单边检验。
注意在写 HOHA 时,里面出现的数学符号一定要是总体参数(比如例子里的 μ,它是未知的),千万不要写成样本统计(惯例上喜欢在符号上面带把儿代表统计量)。试想,你都能找个样本而计算出其精准统计量那还假设检验个啥?
2
Null 模型
写完 HOHA 后,我们假设 HO 是对的,还记得上贴 p-value 的定义吗?p-value 就是假设 HO 为真时观测结果发生的概率。
现在就围绕 HO 为真时来创建模型,称为 Null 模型。
回到上例,当认为 HO 为真,即认为成年男性平均身高 1.72 米,开始做试验,即随机收集若干组样本,求每组的平均身高,这个叫做样本均值(sample mean),如图所示:
第一组随机采样并计算样本均值为 1.73,和总体均值 1.72 蛮近。
第二组随机采样并计算样本均值为 1.9(可能采到了姚明),远大于总体均值 1.72。
第三组随机采样并计算样本均值为 1.68(可能采到了潘长江),小于总体均值 1.72。
但其实姚明和潘长江这种身高不多,大多数还是在 1.72 左右的。
根据中心极限定理(central limit theorem),只要你是随机的取样,只要选择样本的个数足够大,那么样本均值(采样了很多组,因此样本均值是个随机变量)服从以 μ = 1.72 为均值的正态分布。因此按照上面做随机采样很多次计算样本均值,可以画出类似下面的图。
Null 模型本质就是一个概率模型,在本例中是正态分布,均值为 1.72,标准差为 0.1(N 个样本均值算出来后,可以进一步计算样本标准差,我知道符号不严谨,现在先不管这个),我们得到:
1.72 加减 1 个标准差得到的身高是 1.62 和 1.82, 68.2% 的身高落在 [1.62, 1.82]
1.72 加减 2 个标准差得到的身高是 1.52 和 1.92, 95.4% 的身高落在 [1.52, 1.92]
1.72 加减 3 个标准差得到的身高是 1.42 和 2.02, 99.7% 的身高落在 [1.42, 2.02]
3
随机采样 + 计算均值
有了 Null 模型,再回顾一下 HOHA:
H0: μ = 1.72
HA: μ > 1.72
现在只需随机采样,即随机测量几百个人的身高并计算平均值,事先设定搞笑阈值(显著性水平)为 5%,对应的身高值是 1.92,那么
如果计算出来的样本均值大于 1.92,HO 就搞笑了哦,拒绝 HO 接受 HA
如果计算出来的样本均值小于 1.92,无法觉得 HO 搞笑,无法拒绝它
如果上述要检验的问题改为:
根据 2010 年的统计,中国所有成年男性平均身高为 1.72 米,在 2020 年他们是否平均降低了?
那么 HOHA 变成
H0: μ = 1.72
HA: μ < 1.72
参考的是下图:
如果上述要检验的问题改为:
根据 2010 年的统计,中国所有成年男性平均身高为 1.72 米,在 2020 年他们平均身高是否变了?
那么 HOHA 变成
H0: μ = 1.72
HA: μ ≠ 1.72
参考的是下图:
是否用单边(左/右)或双边检验完全根据问题导向,读懂问题之后列出 HOHA,创建 Null 模型,计算统计量(加查表)就完事了。
总结
假设检验大体分三步:
写出 HOHA,记住
H0 是你需要假设的。
HA 是你想要证明的。
建立 Null 模型,即认为“无效假设”为真的时候的概率模型。
计算统计量
培优时间到了:
对那些喜欢抽象的孩子
在本例中,我们想检验的是,总体均值 μ 是否大于一个给定值(1.72)。我们用的 Null 模型是正态模型,如果样本中的数据不够,Null 模型是学生 t 模型。
此外还可以做各个各样的假设检验。
HO |
Null 模型 |
两变量的均值相等 | student-t |
两样本方差相等 | chi-square |
多样本方差相等 | F |
多随机变量不相关 | beta |
做什么样的检验要看具体的问题,核心思路还是先列出 HOHA(HO 是无聊假设,HA 是惊喜假设),再建 Null 模型(就是各种概率分布模型),计算统计量再和搞笑阈值对应的值相比,看是否拒绝 HO。
对那些喜欢哲学的孩子
帮他们提高一些格调。索罗斯在他的反身性(reflexivity)论文中提到他老师波普说的一段话。
The empirical truth cannot be known with absolute certainty. Even scientific laws can’t be verified beyond a shadow of a doubt: they can only be falsified by testing. One failed test is enough to falsify, but no amount of conforming instances is sufficient to verify.
Popper
意思就是,无论多少经验和归纳出来的规律相符,我们都无法证明该规律是正确的。一次失败的实验就能证伪,但再多的实验都不能证实。
塔勒布也举过黑天鹅的例子。
无论我们看见过多少只白天鹅,哪怕是上亿只,也不能证明所有的天鹅都是白色的,但是只用看到一只黑天鹅就能证明不是所有天鹅都是白色的。
对那些喜欢编程的孩子
用 scipy 工具包的 stats 可以做假设检验。
from scipy import stats
Null 模型 |
stats 中的函数 |
总体均值等于给定值 | ttest_1samp |
两变量 均值相等 |
ttest_ind ttest_rel |
两样本方差相等 | chi2_contingency |
多样本 方差相等 |
barlett levene |
多变量 总体均值相等 |
f_oneway kruskal |
多变量 不相关 |
pearsonr spearmanr |
Stay Tuned!
小孩都看得懂的假设检验相关推荐
- 【机器学习】小孩都看得懂的 GAN
全文共 6327 字,55 幅图, 预计阅读时间 32 分钟. 本文是「小孩都看得懂」系列的第十八篇,本系列的特点是内容不长,碎片时间完全可以看完,但我背后付出的心血却不少.喜欢就好! 小孩都看得懂的 ...
- 小孩都看得懂的贝塔分布
全文共 1897 字,22 幅图, 预计阅读时间 10 分钟. 本文是「小孩都看得懂」系列的第十五篇,本系列的特点是内容不长,碎片时间完全可以看完,但我背后付出的心血却不少.喜欢就好! 小孩都看得懂的 ...
- 循环神经网络_小孩都看得懂的循环神经网络
点击上方"MLNLP",选择"星标"公众号 重磅干货,第一时间送达 全文共 2014 字,28 幅图,预计阅读时间 20 分钟. 本文是「小孩都看得懂」系列的第 ...
- 小孩都看得懂的推荐系统
全文共 2573 字,13 幅图, 预计阅读时间 14 分钟. 我还是推荐系统小白,因此对此课题理解相当浅显,但一定很好懂.这才是学一样新东西的正确开始方式. 01 故事的背景包括 4 个小孩和 5 ...
- 小孩都看得懂的YOLO!
随着计算机技术的不断发展,人工智能时代渐渐到来,AI中有一个现在十分热门的方向,就是计算机视觉(CV),而使得CV成为有前景方向的技术,就是目标检测. 无人超市.人脸识别.无人驾驶,众多的使用场景及案 ...
- 小学生都看得懂的C语言入门(1): 基础/判别/循环
c基础入门, 小学生也可以都看得懂!!!! 安装一个编译器, 这方面我不太懂, 安装了DEV-C++ ,体积不大,30M左右吧, 感觉挺好用,初学者够了. 介绍下DEV 的快键键: 恢复 Ctrl+ ...
- 一本书读懂大数据(每个人都看得懂的大数据入门书) - 电子书下载(高清版PDF格式+EPUB格式)...
一本书读懂大数据(每个人都看得懂的大数据入门书)-黄颖 在线阅读 百度网盘下载(635f) 书名:一本书读懂大数据(每个人都看得懂的大数据入门书) 作者:黄颖 格式 ...
- 算法精解 c语言描述 豆瓣,斯坦福大学教授亲授,这本美亚4.7星的算法书,新手程序员都看得懂!...
原标题:斯坦福大学教授亲授,这本美亚4.7星的算法书,新手程序员都看得懂! "算法会扩展并提高大家的编程技巧,而学习基本的算法设计范式,可以和许多不同领域的不同问题密切相关,还能作为预测算法 ...
- 计算机网络之交换机的工作原理---超详细解析,谁都看得懂!!
在了解交换机的工作原理之前,我们先要了解几个概念. 一.相关概念 1.OSI七层模型是哪七层? 自上而下分别是: 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 交换机工作在数据链路层, ...
最新文章
- Vue实例里this的使用
- java怎么解决页面乱码问题_java页面中文乱码的解决办法
- HDU1010 Tempter of the Bone DFS+剪枝
- EditPlus 文件查找功能:在指定文件夹,用正则查寻包含指定内容的文件,指定文件类型,并排除特殊文件名文件
- 关于RabbitMQ集群分区的通知
- mybatis学习(30):修改功能
- PHP获取图片宽度高度、大小尺寸、图片类型、用于布局的img属性
- Python的apidoc操作
- 2022-2027年中国办公设备租赁市场竞争态势及行业投资潜力预测报告
- mysql数据库断开连接_mysql 数据库断开连接
- android原生代码转h5,Android原生和H5交互;Android和H5混合开发;WebView点击H5界面跳转到Android原生界面。...
- 本博客早已废除。请移步新地址
- 2020计算机保研经历
- python超声成像仿真_超声合成孔径成像
- 翁恺老师C语言程序设计网课(THE END)
- 英语不好可以学JAVA吗?来听大咖的建议
- C语言求毕达哥拉斯亲密数
- 在Linux系统如何识别和打开摄像头
- 快来给你个人微信公众号认个证吧
- CEF 下载文件扩展