指标波动一般排查步骤

1. 波动特征分析

• 是否具有周期性，如果是周期性数据波动，那么需要检查：
  ——波动的幅度是否和先前差不多；
  ——波动发生的“人货场”是否和先前整体一致；

• 波动是突发性还是持续性：
  ——如果是业务操作变化或者外部事件，数据通常是突发波动，e.g.微博的舆论事件对应的转发量等；
  ——如果是持续的，说明有个暗坑(很早就有)，也可能是业务本身有问题或者生命周期特殊阶段；

• 严重程度判断

• • 波动幅度的大小，可以是百分比或者绝对量， 的阈值要依赖业务来决定，e.g.成功率波动0.2%以上可能就是比较严重的问题；

  • 波动对比参照值，同比、环比、近N天等

• 定位问题环节
  对变化量 在人货场3个维度(或者其他业务维度也可以)进行拆分，以定位指标变化的主要环节：

• • 人(用户)，新客还是老客，免费还是付费用户？

  • 货(商品)，是什么品类，什么栏目；

  • 场(场景)，分为时间和空间两个角度
    ——时间，什么时候开始的，持续了多久？
    ——空间，哪个渠道入口？什么业务环节？什么业务中断，什么设备类型等\

• 检查数据质量，如果是所有维度或者主要维度一起掉，那很可能是产品操作，比如发版或者新功能上线影响。

• • 数据质量问题，e.g.抽取的数据不完整

  • 底层数据是否有变动，e.g.新增表、增加业务项或数据维度等；

  • 数据处理过程，业务逻辑是否发生变化；

• 按原因概率顺序排查

• • 先看和对应业务环节相关联的产品或者运营操作有没有变化，e.g.产品策略、运营活动覆盖范围等；

  • 在从业务环节从头到尾每个环节检查一下；

  • 也可以从业务参与元素人货场等要素看结构变动；

  • 上述都是内部因素，如果内部排查没有问题，那就要考虑外部影响，比如竞品、舆论事件、新政策等；

• 用数据验证假设
  基于业务形成假设，然后用数据进行验证。
  如果找到引起指标波动的蛛丝马迹，那就要形成相应的假设，再通过数据去验证，有现成数据最好，实在不行再考虑A/B测试这类成本高的方式。

• 数据上表现的周期性变化主要因素有3方面：

  1. 人(用户)的行为活动的周期性，包括和人相关的自然节律

  • e.g. 夜间23:00-早上6:00基本是在休息，所以app的活跃比白天低；

  • e.g. 一日三餐的用餐时间相对固定，上下班时间相对固定；

  • e.g. 工作日上班，节假日休息；

  • e.g. 夏天会买短袖/裤/裙、风扇/空调等降温设备、遮阳伞/防晒霜等遮阳设备等，冬天买秋衣/裤、暖宝宝/电热扇/暖气片等保暖设备；

  • e.g. 在特定的年龄段有相应的主要活动，比如上学、工作、婚育、养老等；

  人行为的周期性或稳定性可以体现在不同的场景下，比如手机充电时间段、电量变化、亮屏时长等，可以判断手机是“真人”在用，同样基于行为的稳定性可以判断账户是否被盗用等；

• 社会活动的周期性，包括行业特殊日期或活动

• • e.g. 节假日，五一、国庆、春节、七夕(或者5.20)、双11等；

  • e.g. 学校的暑假、寒假以及春秋季开学，电商平台会促销学习用品；

  • e.g. 定期举行的具有较大影响力的公开集会或者活动，比如广交会、世界杯、NBA赛事等；

• 产品上的周期性

• • e.g. 唯品会的早10晚8上新、固定时段的大促活动等；

  • e.g. 产品发布会，比如苹果/华为/小米手机新品发布会等；

  • e.g. 会员日(用户养成习惯会在当日消费)，比如信用卡的周末活动等；

  • e.g. 还款日，发工资日；

  数据上的突发性变化通常和产品运营操作有关。

  • e.g. 新发布的app版本埋点有缺失，导致少算数据；

  • e.g. 某天新上线了一个交易入口或者拉新渠道；

  • e.g. 运营搞了一个有上万人参加的活动；

  引起指标波动的因素很大程度上就是指标的影响因素，对于关键指标的常见影响因素(无论是内部还是外部)，最好能定量分析相应的影响量，不管是否具有稳定性，得到一个参考范围也是好的。

  可以按可控性、稳定性两个维度对影响因素分类。

  • 稳定是指定量分析得到的影响量相对稳定或者具有较强的规律性；

  • 可控是指可以通过产品或运营的方法来引导用户的认知和行为，进而改善关键指标，这些因素背后对应着可以操作(改变/驱动)的行为。在业务上重点关注可控因素，一般内部因素(人货场等)相对可控。

  • 对于可控的因素应该提前知晓，比如业务线上的产品运营操作，最好能事先得知业务方的操作，可以通过数据需求、周会或者wiki记录等形式让大家都知道这件事。

  引发指标波动的内部因素

  用户结构变化

  建议做同期群分析，区分用户属性以及用户质量相关的指标下的分布情况来看用户结构的变化。

  • 用户属性：e.g.新老客、来源渠道、所在地、账号类型、会员类型等；

  • 和用户质量相关的指标：

  • • 转化率、留存率、下单率、ARPU\ARPPU\客单价等；

    • 访问时长、访问深度、主要访问的页面分布、最后跳出页面等；

  用户结构的动态变化通常可能由如下原因导致：

  • 引流渠道质量低，e.g.大多数用户来了就走(留存率很低);

  • 虚假流量，比如刷机、爬虫操作，一般从访问设备、网络、IP等“环境信息”或者是否领取和使用新人礼、是否完成了新人引导等行为特征就能较容易地识别出来(基于规则)，当然基于典型的用户行为也能识别出“异常”用户(基于规则或算法)；

  • 异常用户，比如羊毛党；

  • 特殊时段活跃的用户群，通常具有周期性，比如放暑假的孩子；

  • 另外，商品结构的调整也可能导致用户结构改变；

  商品或服务调整

  • 用户交易决策中的商品因素变化：价格、促销、便利性等；

  • 商品供应：宽度(品类数)、深度(SKU数量是否充足)；

  • 商品结构或者服务发生变化，e.g.引入新品类、VIP服务涨价、权益变更等；

  产品运营活动

  毕竟产品运营活动的目的就是让数据指标发生变化，不过有时可能出现非期望的改变。

  • 页面改动，e.g.某个banner位取消了或其他页面元素调整，交互调整；

  • 功能改动，e.g.上线新版app，有bug；

  • 策略改动，e.g.商品推荐策略、搜索排序策略、用户引导策略等；

  • 活动广度(e.g.覆盖的用户数、商品数、订单数、订单额的比例)和深度(e.g.优惠力度、折扣率等)的稳定性；

  • 活动投放的渠道(用户群)、活动配置的规则等；

  引发指标波动的外部因素

  PEST相关的因素。

  • 行业：行业整体数据是否都趋于上升或下降趋势，相当于观察行业的生命周期。可以通过市场渗透率、用户或交易增长情况、行业招聘人员的数量趋势、行业吸引投资(数量及金额)的趋势等判断行业的生命周期；

  • 市场：竞争者在搞事情或者有新玩家加入争夺市场份额；

  • 政策：政策因素通常对整个行业都有影响的，需要关注新出台的政策或政策调整，比如政策更加宽松或严格、有政府补贴等；

  • 时事&舆论：突发的时事或舆论、事故、自然灾害

  • • e.g.《舌尖上的中国3》播出后，章丘铁锅大卖；

    • e.g. 无锡大货车超载导致桥塌，导致本地政策调整，严禁超载，接着货运费用增加；

    • e.g. 2020年新冠疫情，在线服务的需求量增加；