A/B测试的陷阱。在对模型进行过充分的离线评估之后,为什么还要进行在线A/B测试?如何进行线上A/B测试?如何划分实验组和对照组?
场景描述:
在户两位公司中,A/B测试是验证新模块,新功能,新产品是否有效,新算法,新模型的效果是否有提升,新设计是否受到用户欢迎,新更改是否影响用户体验的主要测试方法。在机器学习领域中A/B测试是验证模型最终效果的主要手段。
在对模型进行过充分的离线评估之后,为什么还要进行在线A/B测试?
需要进行在线A/B测试原因如下
一:离线评估无法完全消除模型过拟合的影响,因此得出的离线评估结果无法完全替代线上评估结果。
二:离线评估无法完全还原线上的工程环境。一般来讲,离线评估往往不会考虑线上环境的延迟,数据丢失,标签数据缺失等情况。因此,离线评估的结果是理想工程环境下的结果。
三:线上系统的某些商业指标在离线评估中无法计算。离线评估一般针对模型本身进行评估,而与模型相关的其他指标,特别是商业指标,往往无法直接获得。
比如上了新的推荐系统,离线评估更加关注的是ROC曲线,P-R曲线等的改进,而线上苹果可以全面了解该推荐算法带来的用户点击率,留存时长,PV访问量等的变化,这些都是有A/B测试来进行全面的评估。
如何进行线上A/B测试?
进行A/B测试的主要手段是进行用户分桶,即将用户分为实验组和对照组ÿ
A/B测试的陷阱。在对模型进行过充分的离线评估之后,为什么还要进行在线A/B测试?如何进行线上A/B测试?如何划分实验组和对照组?相关推荐
- 【机器学习算法面试题】七.如何进行线上A/B测试,如何划分实验组和对照组?
欢迎订阅本专栏:<机器学习算法面试题> 订阅地址:https://blog.csdn.net/m0_38068876/category_11810806.html [机器学习算法面试题]一 ...
- 【机器学习百问】10.A/B测试中如何划分实验组和对照组
难度系数(5分制): 2 实验组: 施以新模型的训练集合: 对照组: 施以旧模型的训练集合: 划分原则: 分离目标群体,然后将目标群体对半分开,一半做实验组,一半做对照组: 用一个例子演示划分: 问题 ...
- R语言广义加性模型GAMs:可视化每个变量的样条函数、样条函数与变量与目标变量之间的平滑曲线比较、并进行多变量的归一化比较、测试广义线性加性模型GAMs在测试集上的表现(防止过拟合)
R语言广义加性模型GAMs:可视化每个变量的样条函数.样条函数与变量与目标变量之间的平滑曲线比较.并进行多变量的归一化比较.测试广义线性加性模型GAMs在测试集上的表现(防止过拟合) 目录
- 测试驱动开发 测试前移_测试驱动陷阱,第2部分
测试驱动开发 测试前移 单元测试中单元的故事 在本文的上半部分 ,您可能会看到一些不好但很受欢迎的测试示例. 但是我不是一个专业的批评家(也被称为"巨魔"或"仇恨者&qu ...
- 测试驱动陷阱,第2部分
单元测试中单元的故事 在本文的上半部分 ,您可能会看到一些不好但很流行的测试示例. 但是我不是一个专业评论家(也被称为"巨魔"或"仇恨者"),没有任何建设性的话 ...
- TransRepair:自动测试及修复神经网络翻译模型的不一致性问题
⬆⬆⬆ 点击蓝字 关注我们 AI TIME欢迎每一位AI爱好者的加入! 机器翻译是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值.同时,机器翻译又具有 ...
- 随机森林模型构建--在凯斯西储(CWRU)数据上的简单测试(1)
随机森林模型构建测试–在凯斯西储(CWRU)数据上的简单测试(1) 文章目录 随机森林模型构建测试--在凯斯西储(CWRU)数据上的简单测试(1) 1. 实验数据集说明 2. 测试数据说明 3. 随机 ...
- 7个Bert变种模型baseline在7个文本分类数据集上训练和测试
引入和代码项目简介 https://github.com/songyingxin/Bert-TextClassification 模型有哪些? 使用的模型有下面七个 BertOrigin, BertC ...
- Cosmos与以太坊2.0测试网beacon的质押模型
Cosmos质押 一. 基本概念 质押代币:atom,能够通过早期筹款得到或交易所购买 候选人:持有atom的人.候选人可以通过质押atom, 可以通过签署和提交 BondTx 交易竞选成为验证人(质 ...
最新文章
- 多样化实现Windows phone 7本地数据访问5——深入Rapid Repository
- 【转】linux之pmap命令!
- Dubbo系统间通信
- 右值引用和move语义?
- figma下载_何时在Figma中使用组或框架
- 自顶向下和自底向上测试的优缺点
- Python与Java曝漏洞,黑客利用FTP注入攻击可绕过防火墙
- 90%做tiktok运营都存在的误区?
- 标准模块 os.stat
- inDesign教程,如何共享inDesign文件?
- 进程间通信的11种方法
- setuna快捷键_Setuna 办公截图神器
- OneNote 安装代码高亮插件 NoteHightlight的安装及使用基础教程
- 光敏传感器实验报告_光敏传感器光电特性研究实验报告.docx
- ADB投屏_手机无需安装客户端的【安卓投屏】
- matlab 每日学习 fft2 ifft2函数
- 【网络编程--UDP、TCP】
- html中图片以图片中心放大旋转,图片旋转放大居中
- 【mongo系列】 六、mongo分片集群
- [Python图像处理] 合成微缩效果