刷B站学数分Day3｜AB试验（上）
开个系列《刷B站学数分》，总结整理B站上优质的数据分析资源～
目录
- 0 参考资料
- 1 AB试验的原理
- 1.1 来源于假设检验
- 1.2 一句话概括
- 2 AB实验中的辛普森悖论
- 2.1 辛普森悖论
- 2.2 辛普森悖论产生的原因
- 2.3 如何避免辛普森悖论（依据《A/B测试 创新始于试验》补充）
- （1）对样本量进行合理的分配
- （2）试验设计：正交试验、互斥试验、定向试验(针对细分人群的试验)
- （3）试验实施：细分分析
- 3 如何计算试验样本量
- 3.1 样本量计算公式
- 3.2 计算样本量案例（依据《AB实验背后的秘密：样本量计算》补充）
- 3.3 样本量的影响因素
- 3.4 样本量计算器
- 4 脑图总结
0 参考资料
- up主Stone_sl 原视频链接：
【面试大杀器之AB实验|关于AB实验你一定要知道的必考知识点（上）-哔哩哔哩】 - 文章：
《AB实验背后的秘密：样本量计算》 - 书籍
《A/B测试 创新始于试验》
1 AB试验的原理
1.1 来源于假设检验
- 有两个样本组，对其中一个做出改动，然后观测该改动对所关注的核心指标是否有显著影响
- 原假设 H0：改动不会对核心指标有显著影响
- 备择假设 H1：改动对核心指标会有显著影响
- 若做完实验后，发现p值足够小，则推翻原假设，证明这项改动会对核心指标产生显著影响
1.2 一句话概括
- ab实验就是同质样本组的对照试验
2 AB实验中的辛普森悖论
2.1 辛普森悖论
- 在某种条件下我们所关注的两组数据，分别讨论时都会满足某种同样的性质，当把两个子数据集进行合并后观察整体时，就会得出截然相反的结论
2.2 辛普森悖论产生的原因
- 把“值”和“量”两个维度的事情，合并成了“值”一个维度去进行讨论
- 即，在划分子数据集的时候，并没有对流量进行合理分割（流量分布不均匀），导致所选取的实验组并不具有代表性
- eg 互联网产品实践中的辛普森悖论
- 用1%的用户跑了一个实验，然后得出结论新版本比老版本更加手用户欢迎，而当新版本上线后发现其实给用户带来体验是更差的
- 而事实上，我们选取的1%试验组里往往会挑选那些乐于交流、热衷产品、又或者是付费率高粘性高的用户，把他们的数据与全体用户对比是不客观的
2.3 如何避免辛普森悖论（依据《A/B测试 创新始于试验》补充）
（1）对样本量进行合理的分配
- 保证试验组和对照组里的用户特征是一致的，并都具有代表性，可以代表总体用户特征
- eg 观测用户参与活动后领取福利的如何放在哪个入口最容易被用户点击：试验组和对照组所圈定的用户都一定要是参与活动的用户，不能选择整体的大盘用户作为观测基准
- 大流量试验比小流量试验更可能收到辛普森悖论的影响
（2）试验设计：正交试验、互斥试验、定向试验(针对细分人群的试验)
- eg 如果两个变量对试验结果都有影响，应该把两个变量放在同一层进行互斥试验，不要让一个变量的试验动态影响到另一个变量的检验
- eg 如果一个实验可能会对新老客户产生完全不同的影响，应该对新老顾客分别展开定向实验，观察结论
（3）试验实施：细分分析
- 多维度的细分分析，除了对比总体，看细分受众群体的试验结果
- eg 一个试验版本提升了总体活跃度，但是可能降低了年轻用户的活跃度，那这个试验版本是不是更好呢？
- eg 一个试验版本提升了0.1%的总营收，似乎不起眼，但可能上海地区年轻女性购买率提升了20%，这个试验就很有价值了
3 如何计算试验样本量
3.1 样本量计算公式
- （1）：公式见上图
- （2）n是每组所需样本量，因为A/B测试一般至少2组，所以实验所需样本量为2n
- （3）σ为标准差，衡量数据波动性量，σ越大表示数值波动越厉害
- （4）Δ为两组数值的差异，如注册转换率50%到60%，那么Δ就是10%
- （5）α和β分为第一类错误概率和第二类错误概率，一般分别取0.05和0.2
- （6）Z为正态分布的分位数函数
3.2 计算样本量案例（依据《AB实验背后的秘密：样本量计算》补充）
- 已知：1、注册转换率e1为50%，e2为60% ；2、假设最小标准值为0.8的期望功效；3、显著性水平α为0.05；4、α = 0.05时，Zα/2 = 1.96。β = 0.8时，Zβ = 0.84
- σ^2 = 0.6*（1-0.6）+0.5*（1-0.5）=0.49
- Δ^2 = (0.6 - 0.5) ^2 = 0.01
- n = 384.16
- 因此，试验组和对照组分别需要385个样本，共770个
3.3 样本量的影响因素
- 实验两组数值差异Δ越大或者数值波动性σ越小，所需要的样本量就越小
3.4 样本量计算器
- 工具：Evan’s Awesome A/B Tools
- （1）baseline conversion rate：原来的点击率
通常根据历史数据决定 - （2）minimum detectable effect：代表对判断精度- 的最低要求
- 当参数越大，eg 10%，代表检测出的差别只要达到10%即可
- 当参数越小，eg1%，代表需要检测出的差别值达到1%，判断精度要求更高，相应样本量增加
- （3）significance level = α：显著性水平
要求第一类错误概率 α，不超过5% - （4）statistic power = 1 - β = 80%
统计功效要求第二类错误概率 β，不超过20%
4 脑图总结
PS 红色字体为个人重难点
刷B站学数分Day3｜AB试验（上）相关推荐
- 【刷b站学到的Unity】Lerp插值
初学unity,感到各种各样的功能太多,每天打开b站都刷出一大堆不会的,所以在此记录每天学了什么.相关视频和参考文档一切权力归作者,侵删. 基本介绍 最近关注了一个up,他出了个讲Lerp的视频 ht ...
- 一线数分师天天被喷不值钱，数据分析师如何“刷存在感”？
在职场论坛里,常常能看到数分人发帖吐槽怀疑岗位的价值:钱少也就算了,天天当取数工具人,忙碌劳累,但产出的价值难以量化,感觉自己在公司没啥存在感. 更让人不理解的是,现在的产品.运营.业务也开始做数据分 ...
- 『 No.1 统 计 学 × 数 据 分 析 』
来源:爱数据LoveData 作者:管理学刊 大家好,我是小z 分析离不开统计,统计亦离不开分析,今天分享的这两篇文章,是对统计x数分重要知识点的梳理,值得一看. 01 描述统计 描述统计是通过图表或 ...
- 我在b站学数据库 （七）：多表操作
上一篇:我在b站学数据库 (六):DQL中的正则表达式 一.多表关系 可以概括为:一对一.一对多/多对一关系,多对多 1.一对一关系 例:一张身份证只能对应一个人 注意: (1)在任一表中添加唯一外键 ...
- 学数媒用考计算机2级吗,原创 | 考取中传数媒+北师大数媒双料师姐丁秋月来啦！...
今天是我们来自辽宁鞍山八中的丁秋月师姐,2017年她以优异成绩考取中国传媒大学数字媒体艺术.数字媒体艺术中(中外合作办学):北师大数字媒体艺术,同时以高考高出一本线64分的高分,被中国传媒大学数字媒体 ...
- b站点赞服务器,B站提高点赞方法步骤,教你轻松实现刷B站点赞
大多数人刚刚开始运营B站的时候,并且不想投入太多的资金来推广B站,而免费的吸赞方法应该一点一点地注意细节,吸引点赞的前提是你的内容,准确地说,是为了满足点赞的需求与痛点,今天就给大家讲解一下. 第一步 ...
- 学数解题160919
学数答题160919 转载于:https://www.cnblogs.com/xueshutuan/p/5896065.html
- python刷b站教程_python + selenium 刷B站播放量的实例代码
B站UP主的主要收益来源(播放量获取的奖励.用户充电.广告等等) 首先做up主最直接的就是做视频,当你的粉丝过1000或者视频总播放超过10万时可以申请创造激励,申请创造激励之后,你的原创视频播放会给 ...
- 2015/Province_Java_A/3/九数分三组
九数分三组 1~9的数字可以组成3个3位数,设为:A,B,C, 现在要求满足如下关系: B = 2 * A C = 3 * A 请你写出A的所有可能答案,数字间用空格分开,数字按升序排列. 注意:只提 ...
最新文章
- 发现的bug不能重现怎么办？
- 模拟出ios中流行的黑色背景底
- 《离散数学》双语专业词汇表 名词术语中英文索引
- Node.js的基本使用3
- 睿停车系统车场服务器,睿停车后台管理中心系统-用户手册-前台版本
- ubuntu下c++中base64编解码测试和图片编解码测试
- 如何为Mac视频添加模糊效果？
- ubuntu12.04安装翻译软件stardict及卸载
- 04 - 雷达的工作频率
- 别总写代码，这130个网站比涨工资都重要
- 用Maple求偏导数
- 贷超分销系统的模式！
- 思科N9K交换机配置QOS
- 常用计算方法(C语言代码)(计算方法课程)
- PHP采集-数据采集PHP采集器
- 1. Navicat Premium 12 用户手册之简介
- linux三剑客面试题,Linux三剑客之sed
- 更换JmGO G1投影仪调焦电机
- 经验总结 | 如何使用服务器上传下载文件
- WordPress 高仿 36KR 登录界面