AB测试的统计学原理

随笔记一些：

1. 大数定理说明频率的极限是概率；中心极限定理说明不论总体服从何种分布，从中抽取n个样本，则这n个样本的总和或平均数是一个随机变量，当n足够大时，这n个样本的总和或平均数服从正态分布。假设检验的所有原理都依赖于中心极限定理。

2. AB测试中的假设检验都用双侧检验，这样比较容易记忆和处理，即原假设都设置为等号，即AB策略没有差异（当然，如果你愿意，你可以根据实际情况来设置单侧检验，这样求T值的时候注意）。

3. AB测试中的假设检验一般用Ttest，因为AB测试是一个标准的独立双样本检验；T检验既适用于大样本又适用于小样本，而Z检验只适用于大样本，所以一般情况下AB测试中的假设检验都用T检验（这也是为什么有些软件只给出T检验的相关模块）。T统计量/T值的计算方法，T=(avgX - avgY)/sqrt(X方差/n1 + Y方差/n2)，T值和p值之间可以互相转化，通过查表用T值其实可以直接进行结论判定了，但是一般情况下还是要转化为p值判断更方便(无论是Excel,SPSS,R还是python的T检验都是直接算出了p值)，Excel里面TDIST函数可以转化T值为p值。

4. P值的含义：假设检验首先要设一个原假设，在原假设的基础上我们构造/找到一个已知分布的统计量（T），我们可以计算出来在一次抽样结果下的这个已知分布的统计量的值（T值），P值的具体含义是当原假设为真时，一次试验中出现比T值更极端的情况的概率值，如果这个值比较小，那我们就认为在一次抽样试验中小概率事件发生了，也就会拒绝原假设；那这个概率多小算小呢，一般会设置一个显著性水平alpha=0.05，小于0.05就算小；p=0.05的含义就是：在一次试验中，一个出现概率为0.05的事件出现了，那我们就有足够的理由怀疑我们的假设是错的。

5. p值越小代表我们越有理由来拒绝原假设，“越显著”的意思并不是说AB组的差异越大，【P越小/更显著】的含义是我们有更充分的理由来拒绝原假设，只是拒绝而已，并不代表avgX与avgY差距越大。想要探究AB组的差距大小需要用到区间估计。

6. 区间估计就是估计 avgX - avgY 可能的区间范围，这是假设检验判定了AB组有差异(p值小于0.05)之后的一个动作，置信度为1-alpha=95%的置信区间计算公式为：
(avgX - avg Y ± t值 * sqrt(X方差/n1 + Y方差/n2))
含义就是，我有95%的把握说 avgX-avgY 会落在上面的区间上

7. 我们可以看出来区间估计是一个范围，如果我们对这个范围也就是估计的精度有要求，也就是说如果我们想让这个范围小一点、精确一点，那我们就需要对样本量有一定的要求了，样本越大这个范围就越精确，但同时我们付出的时间成本越高。这就是我们在做AB测试的时候为什么总是有人提最小样本量。其实这不是一个必须的过程，只要我们对这个范围精度要求不高。一定精度要求下的最小样本量的计算公式可以查书。

8. AB测试最后得出结论A组相对于B组某指标提升了多少一般是一个区间，比如说(1.4,1.9)或者(1.5%,1.7%)

AB测试的统计学原理相关推荐

深入解读AB测试(含统计学原理)
什么是ABtest Abtest,又称分组隔离实验,是用于衡量网页设计.产品界面不同方案的效果的科学实验方法. 具体过程就是,为同一个产品目标制定两个方案(如一个界面按钮为蓝色,一个为红色),然后分别 ...
蓝绿部署、金丝雀发布（灰度发布）、AB测试……
点击关注公众号,Java干货及时送达来源 | https://www.jianshu.com/p/0df88fe4a1e3 随着微服务架构的普及,线上服务越来越多,随之而来的就是部署越来越频繁:随着 ...
apache ab测试介绍
apache ab测试介绍安装ab命令环境为ubuntu16.04.2 LTS,安装的命令为: sudo apt-get install apache2-utils 使用说明格式为:ab [op ...
Centos ab测试工具
安装AB测试工具 yum -y install httpd-tools测试命令模拟并发请求100次,总共请求10000次命令模板: ab -c 100 -n 10000 待测试网站(建议完整路径) ...
AB测试：基础概念、应用场景及入门指南
01 AB测试是什么互联网行业变化很快,很多产品的迭代速度都是按周甚至是按天来的.无论是产品的优化方向,还是决策的制定,都需要有数据来说话. 目前,大部分产品迭代的方式,是直接将某版本发布给全部用户 ...
算法效果AB测试中的PV-UV不对称性
算法效果的AB测试,是指在相同的应用场景下,对比不同算法的效果.通常的做法是,按照PV或UV随机分配流量到算法上,计算算法的CTR或转化率进行对比.为了表述简单,我们假设参与对比的算法有两个,比较的指 ...
第八章流量复制/AB测试/协程
流量复制在实际开发中经常涉及到项目的升级,而该升级不能简单的上线就完事了,需要验证该升级是否兼容老的上线,因此可能需要并行运行两个项目一段时间进行数据比对和校验,待没问题后再进行上线.这其实就需要进 ...
Apache ab测试工具使用方法（无参、get传参、post传参）
Ab测试工具是apache自带的测试工具,具有简单易上手的特性,下面我总结一下我的使用方法,首先去官方下载apache程序包,我下的最新版本apache2.4.23,下载地址Download - Th ...
「原理」AB测试-详细过程和原理解读
这篇我们来详细讲讲AB测试的原理和具体的过程. AB测试原理简介 AB测试最核心的原理,就四个字:假设检验.检验我们提出的假设是否正确.对应到AB测试中,就是检验实验组&对照组,指标是否有显著 ...

AB测试的统计学原理

AB测试的统计学原理相关推荐

最新文章

热门文章