ABtest简介

一般有两种以上方案，通过小范围发布，让相似用户去随机体验几种方案之一，根据观测结果，选择效果最好的版本。

常见概念

假设检验：用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。

显著性检验：假设检验中最常用的一种方法，其基本原理是先对总体的特征做出某种假设，然后通过抽样研究的统计推理，对此假设应该被拒绝还是接受做出推断。

P值：在原假设成立的前提下，出现错误实验结果或更极端结果出现的概率。

显著性水平：估计总体参数落在某一区间内，可能犯错误的概率，用α表示。

置信区间：由样本统计量所构造的总体参数的估计区间。

β值：第二类错误（原假设错误实验结果认为正确）发生的概率。

样本量的计算

样本量计算器，一般输入4个参数：α和β分别称为第一类错误概率和第二类错误概率，一般分别取0.05和0.2；Z为正态分布的分位数函数；Δ为两组数值的差异，如点击率1%到1.5%，那么Δ就是0.5%；σ为标准差，是数值波动性的衡量，σ越大表示数值波动越厉害。

$n=\frac{\sigma ^{2}}{\Delta ^{2}}(Z_{\frac{\alpha }{2}}+Z_{\beta })^{2}$

假设检验统计量的选择

Z检验：一般用于大样本（即样本容量大于30）平均值差异性检验的方法。

T检验：主要用于样本含量较小（例如n < 30），总体标准差σ未知的正态分布。

卡方检验：卡方检验是统计样本的实际观测值与理论推断值之间的偏离程度。

实验人群

实验目标人群（实验策略大盘渗透率不高的情况下，取大盘抽样数据局部收益容易不敏感）

实验时长

1.考虑用户生命周期，一般为覆盖1-2个（7-14天）

2.每日样本量比较少的情况下，实验时长=总样本量/每日样本量

实验指标

核心指标：（避免选择虚荣指标）这种指标是决定实验成败的关键指标

辅助指标：（辅助判断实验对其他因素的影响以及体现实验目标如何达成）(1)漏斗细分转化率(2)重要下游指标(3)其他关键用户指标

反向指标：（实验可能的负面影响）退货率，页面退出率，应用删除率，Push退订率，订单取消率，邮件退订率等等

实验可能结果

正收益：大盘核心指标增长，负向指标无影响；大盘指标波动不大，直接影响指标（分层、分群、局部）增长，负向指标无影响。

原因：新奇效应（周内效应）；犯了第一类错误

解决方案：实验结果显著后不马上上线，确定样本量是否达到要求，覆盖至少1-2个用户生命周期；持续观察一段时间指标直到指标波动基本稳定

负收益：实验差距不大；结果不显著；负向指标有影响。

原因：犯了第二类错误；结果中存在偶然因素；辛普森悖论（原因：数据分流不完全随机，存在潜在相关变量分布不均匀）；实验本身收益不显著

解决方案：样本空间量不足，如果不能增加样本量，可适当延长实验时间；设置置信阈值，剔除大偶然事件影响；随机分层抽样；某两个变量对试验结果都有影响，那就应该把这两个变量放在同一层进行互斥试验，不要让一个变量的试验动态影响另一个变量的检验；试验结果要进行多维度细分分析；实验确实没有收益考虑停止实验，分析可优化点准备下次实验；上线反转实验（观察功能长期影响，在原实验没有经历完整周期或数据没置信时就上全量的背景下）（上线后保留一小部分流量做反转——从对照用户组中，抽一部分流量，再开一次A/B实验，a组为实验条件，b组为对照条件）

AB测试需要知道的知识相关推荐

python 数据逐个验证_案例实战 | Python 实现 AB 测试中常见的分层抽样与假设检验 (附代码和数据集)...
在这里插入图片描述作者 l 萝卜本文会将原理知识穿插于代码段中,相关代码和数据集可在公众号 " 数据分析与商业实践 " 后台回复 " AB测试 " 获取. ...
AB测试(Test)——原理与实际案例手把手教学
使用Python进行AB测试--Udacity课程最终项目演练目录使用Python进行AB测试--Udacity课程最终项目演练 0 AB test基础知识巩固 1. 项目背景 2.实验概述 2. ...
数据应用系列（1）-ab测试
作者/五花肉作者介绍前网易出口大数据产品经理一枚负责过数据采集.bi系统.ab测试.画像平台等应用层平台搭建酷爱健身.钟爱咖啡.喜爱摩托.热爱生活 01 为什么需要ab测试大家在日常工作中是 ...
案例实战 | Python 玩转 AB 测试中的分层抽样与假设检验！（附代码和数据集）...
今天由优秀的萝卜同学给大家分享一篇AB测试干货~ 本文会将原理知识穿插于代码段中,相关代码和数据集空降文末可以获取. 前言在电商网站 AB 测试非常常见,是将统计学与程序代码结合的经典案例之一.尽管 ...
AB测试实战案例讲解及踩坑事项
Hey,我是小z 今天我们来结合流程,讲讲具体的AB测试案例,以及AB测试中需要注意的问题,还有面试中可能会踩的坑. AB测试案例串讲大体背景如下: 某社交APP增加了"看一看" ...
蓝绿部署、金丝雀发布（灰度发布）、AB测试……
点击关注公众号,Java干货及时送达来源 | https://www.jianshu.com/p/0df88fe4a1e3 随着微服务架构的普及,线上服务越来越多,随之而来的就是部署越来越频繁:随着 ...
apache ab测试介绍
apache ab测试介绍安装ab命令环境为ubuntu16.04.2 LTS,安装的命令为: sudo apt-get install apache2-utils 使用说明格式为:ab [op ...
Centos ab测试工具
安装AB测试工具 yum -y install httpd-tools测试命令模拟并发请求100次,总共请求10000次命令模板: ab -c 100 -n 10000 待测试网站(建议完整路径) ...
AB测试：基础概念、应用场景及入门指南
01 AB测试是什么互联网行业变化很快,很多产品的迭代速度都是按周甚至是按天来的.无论是产品的优化方向,还是决策的制定,都需要有数据来说话. 目前,大部分产品迭代的方式,是直接将某版本发布给全部用户 ...

AB测试需要知道的知识