AB test 分析经验

最近做了一个AB，有几点经验值得记录一下。

背景

用户每日都可以打卡到微信，引导关注公众号。近期关注率有下降，怀疑与微信屏蔽有关，（微信抵制诱导分享引流到公众号）。
因此申请一个新公众号做测试，新老两个公众号内容均一致，观测两个公众号的关注率是否有差异。
关注指标：关注用户数/打卡用户数

过程

AB实验 1号上线，上线时全量切origin，2号开始1:1切

分析

step1
观察当天新进入分组的用户，在当天打卡发出的场景二维码带来的订单。连续观测多天数据，对每日即多日汇总数据进行假设检验
原假设： origin >= v2，备则假设： origin < v2
p值 ≈ 0.002 <0.01，可以拒绝原假设，接受备则假设，即新公众号关注率高于老公众号

##### 假设检验
n1 = c(3935,2329); d1 = c(304, 209)
n2 = c(2431,2538); d2 = c(180, 203)
n3 = c(2016,2015); d3 = c(146, 167)
n4 = c(1524,1475); d4 = c(122, 152)
alt = "less"
num_tests = 4
nt = 0; dt = 0;
for (i in 1:num_tests) {nx = eval(parse(text = paste0("n",i)))dx = eval(parse(text = paste0("d",i)))nt = nt + nx; dt = dt + dx;p = prop.test(n = nx, x = dx, conf.level = .9, alternative = alt)cat('test result', i, ':', p$p.value, '\n')if (i == num_tests) {pt = prop.test(n = nt, x = dt, conf.level = .9, alternative = alt)cat('test result for all :', pt$p.value)}
}test result 1 : 0.04517291
test result 2 : 0.2321899
test result 3 : 0.1186704
test result 4 : 0.01692163
test result for all : 0.002388452

然而，发现ab结论是v2高于origin，但从大盘看自AB上线开始，整体大盘的关注率却在下降，需要进一步排查。

step2
首先，看AB分组是否平均，用户质量是否有差异
对进入分组的用户进行维度拆分，查看各维度AB两组分布是否均匀。
观察城市等级、平台、年龄、性别等维度后分布都均匀

其次，这部分是重点
思考AB是否无偏差，而是真的AB
以这个案例来说，用户每天都可以打卡，可能存在很多人关注过老的公众号, 所以开新号的效率高一些。
为验证该想法，查看数据，发现关注新号的用户中，12% 关注过老号查询SQL。对于这部分已关注老号的用户，本身可能意愿较强，看到新号也愿意关注看看。
所以这个AB是有偏的，为矫正这部分偏差，排除v2关注用户中之前已关注过老号的用户。
再将结果进行假设检验，发现两组用户无显著差异.

AB test 分析经验相关推荐

AB实验分析方法论 - matching
AB分析有一个总体的思路是这样子滴~ 这次我们来讲一讲AB实验分析过程中的一个基本方法论 Matching. Matching的方法其实大家在日常工作中都用过,一般是在大盘整体对比得不到显著影响的时候 ...
17年数据分析经验告诉你大数据行业的门道
本文根据具有十七年数据分析行业经验的嘉宾陈晨的纪实采访整理. 专访嘉宾:陈晨简历:现任电通安吉斯 – 美库尔(DAN – Merkle) 中国(上海/南京) 数据与分析部高级总监,兼任Merkle南 ...
oracle48108,记一次oracle连接数暴涨hang分析经验
小伙伴们,大家好. 这次分享一个因为应用连接数暴涨进而导致数据库hang的故障分析处理经验. 1.事件背景 2020年01月13日,收到某运营商一核心数据库告警,提示数据库连接数超过预警阈值,短时间内 ...
短线上岸西安电子科技大学考研811信号与电路分析经验分享
一.初试成绩二.个人情况三.复习规划四.总结五.评论区给个回复鼓励,点击首条评论,进入西电考研大家庭一.初试成绩 811的初试共四门:数学一,英语一,政治,811电路,信号与系统. 短时间复 ...
Python数据分析案例-利用AB test分析转化率是否存在差异
1. AB test简介 AB测试是为Web或App界面或流程制作两个(A/B)或多个(A/B/n)版本,在同一时间维度,分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本,收集各群组 ...
Linux内核源代码分析经验
Linux的最大的好处之一就是它的源码公开.同时,公开的核心源码也吸引着无数的电脑爱好者和程序员:他们把解读和分析Linux的核心源码作为自己的最大兴趣,把修改Linux源码和改造Linux系统 ...
十年数据分析经验，总结出这三类分析工具最好用
提及数据分析工具相信小伙伴们都不陌生,但是很多人都会有个疑惑? 数据分析工具这么多,它们有什么区别?哪个更好?哪个更强?我应该学习哪个? 虽然这个问题有点俗套,但是很重要,我也一直努力在追求这个终极问 ...
第15章-4~6 装配体静力学分析经验技巧总结篇 (工作原理的简化、约束、预紧力、载荷、后处理)高效修改接触对、suppress（抑制）、多工位（多步计算）的螺栓预紧力设置
15-04 工作原理的对接 (相关不清楚的设置在之前的博客有介绍,欢迎关注博客.批评指正) 在仿真前必须对工位吊的原理非常清楚. 接触类型辨别: 1转筒1和转台2的接触面有三个,它们之间是摩擦接触. ...
AB实验结果分析01-保证实验分析结果的准确性
目录如何保证实验分析结果的准确性选择合适的实验时间和样本数保证最小的样本量

AB test 分析经验

背景

过程

分析

AB test 分析经验相关推荐

最新文章

热门文章