AAtest实验方法
目录
- 1.基本概念
- 2.AAtest分桶方法
- 2.1 可重叠分层分桶方法
- 2.2 分桶大小
- 3.AAtest波动性
- 3.1 波动原因
- 3.2 波动评估方法
- 3.2 解决方法
- 4.参考资料
1.基本概念
在线评估中开启一个实验组和对照组配置相同的实验,称作AAtest实验。在AAtest实验中,需要保障实验波动性尽可能小的情况下,数据量不会过于庞大,因为过量的数据虽然会保障数据的泛化性,会增大模型训练的时间和推理速度,影响模型迭代和实时模型推荐更新速度
2.AAtest分桶方法
2.1 可重叠分层分桶方法
在AAtest实验中,首先需要保障的是分桶用户尽可能保障无偏,一种方法是将userid或devid进行hash,而后按照桶大小进行取模分桶,单层实验没有什么问题,但是长期交叉、连续实验会导致某个桶的用户行为有偏,导致其他层的实验结果受到影响,目前应用比较常用的方法是可重叠分层分桶方法
可重叠分层分桶方法具体来说就是将流量分成重叠的多个层,因为很多类实验从系统参数到观察的产品指标都是不相关的,完全可以将实验分成互相独立的多个层,例如UI层、推荐算法层、广告算法层等,除分层外,在每个层中使用不同的随机分桶算法,保证流量在不同层中是正交的,即同一用户应该分到哪个桶是独立不相关的。具体即上一层1桶的所有用户,理论上应该均匀随机分布在下一层的1000个桶中
可重叠分层分桶方法
1.确定layer,确定tag,如userid,devid
2.使用hash函数将tag进行hash
3.使用hash(layer, tag) % 桶大小确定每层分桶,如果hash支持seed,使用layer作为seed,否则作为salt(加盐值),将layer+tag作为输入参数
2.2 分桶大小
在分桶时,分桶用户数不适合过大,因为过量的数据虽然会保障数据的泛化性,会增大模型训练的时间和推理速度,影响模型迭代和实时模型推荐更新速度,分桶也不应该过小,因为较小的数据集使得数据泛化能力较差,同时会导致评估指标的波动性过大,根据中心极限定理,在样本数据量够大的情况下,当数据量足够时,总体参数的抽样分布是趋向于正态分布的,具体应根据实际业务进行分桶大小的设置
3.AAtest波动性
3.1 波动原因
由于每个桶中的用户每天进行操作的次数完全随机,因此实验指标每天会有一定的波动值
3.2 波动评估方法
对每个桶的指标进行监控,统计置信区间和置信度,指标均值,方差等信息
3.2 解决方法
影响波动性的指标的直接因素时桶内用户数,桶内用户数越多,波动性越小,当AAtest实验波动较大时,可以考虑提高实验桶内的用户数目,降低AAtest波动
4.参考资料
1.《推荐系统开发实战》
2.https://yangwenbo.com/articles/abtest-traffic-diversion.html
3.https://blog.csdn.net/weixin_34268753/article/details/88002645
AAtest实验方法相关推荐
- 免费申领Bio-protocol单细胞研究实验方法精选集
点击上方蓝字关注 Subscribe for more 去年,Bio-protocol推出了再版精选集第一辑,非常高兴得到了读者的广泛欢迎和好评,感谢大家对Bio-protocol的认可和信赖.202 ...
- Linux拉取代码启动镜像,基于Linux源代码及Busybox源代码制作精简可启动内核镜像技术实验方法...
基于Linux源代码及Busybox源代码制作精简可启动内核镜像技术实验方法总结 熊海泉 内核源代码 下载地址 这里下载的是linux-2.6.38.tar.bz源代码 下载地址 这里下载的是busy ...
- 数值实验与计算机模拟,数值模拟方法与实验方法的优缺点
<数值模拟方法与实验方法的优缺点>由会员分享,可在线阅读,更多相关<数值模拟方法与实验方法的优缺点(1页珍藏版)>请在人人文库网上搜索. 1.应用范围:对有条件进行实验的材料, ...
- 论文阅读笔记(一)——铁饼鱼的面部识别:使用数字模型的实验方法
论文阅读笔记(一)--铁饼鱼的面部识别:使用数字模型的实验方法 论文简介 期刊情况 摘要 研究背景 正文 动物实验对象的制备 社交展示的描述 实验过程 实验1 实验2 道德声明 结果 商量 论文简介 ...
- html5教程单摆,单摆实验的基本原理和实验方法
单摆实验的基本原理和实验方法 2013-04-10 19:39:04 来源:http://www.51cok.com/ 点击:194次 分享到: 在物理学实验中我们需要很好的掌握实验 ...
- 大脑结构和功能复杂网络的图论分析——回顾复杂大脑网络的各种实验方法(包括人类的结构和功能MRI,扩散张量成像,磁脑图和脑电图),介绍图论的基本原理
复杂大脑网络:结构和功能系统的图论分析 文章Complex brain networks: graph theoretical analysis of structural and functiona ...
- 知识图谱构建的实验方法
知识图谱构建的实验方法包括以下几种: 人工构建: 通过专家知识或文献研究手动构建知识图谱. 爬虫爬取: 使用爬虫技术爬取网络上的知识信息. 半自动构建: 通过机器学习或自然语言处理技术对爬取的知识信息 ...
- matlab信号处理代码大全,实验方法信号处理Matlab源代码-精.doc
实验方法及数字信号分析处理 课程大作业 第一次作业: 题目:x=sin(2*pi*5*t)+sin(2*pi*50*t)+sin(2*pi*200*t)+0.1*rand(1,m); ①画原信号的曲线 ...
- 医学论文中的实验方法
对于实验药品.试剂.动物.植物和主要工具,应说明来源和规格,药品和试剂的名称应尽可能使用普通名称,而不是商品名称.动物和植物必须有拉丁科学名称.识别单位和专家的名称和头衔. 文献中存在的所有实验方法通 ...
最新文章
- Ajax[Mount]
- 不可思议!乌克兰国防军队的系统账密居然是 admin 和 123456...
- 阅读量PHP设计,zblogPHP如何修改文章阅读量
- 性能测试的几个参数概念
- PHP怎么使用ckeditor集成,php调用ckeditor?怎么调用ckeditor
- atom之插件安装及相关
- jQuery封装的选项卡方法
- 数据挖掘概念与技术(第三版)课后答案——第二章
- 计算机窗口保护颜色,如何设置电脑保护色,教你设置电脑保护色
- 软件测试ios打包,苹果测试iOS打包成 ipa包
- MSP430学习总结——定时器
- 三万字长文带你了解电子设计自动化(EDA)
- 诛仙账号合并服务器,《诛仙3》10/17 服务器数据互通公告
- Java Attach机制实现原理
- 微信小程序跳转美团外卖小程序时出现白屏解决demo
- CS224n笔记——Subword Model(十二)
- uniapp设置router
- 如何批量修改文件名字的一部分?
- 搜索功能(二)-搜索页面——搜索栏基本布局
- Vue 中的 ref 属性详解