hive 关于用户留存率的计算

最近接到一个需求，需要统计用户留存率，而且要一次统计多个模块，多个日期的留存率，那如何通过一段hive(SQL)来实现该需求呢，在网上看到一篇很精妙的文章，参考这篇文章实现了需求，可以说是目前见过的一次性统计多个时间区间留存率的最佳实践了，感谢楼主的经验分享，好东西，多记录，多分享！

查看原文，请点击这里

首先用户留存率一般是面向新增用户的概念,是指某一天注册后的几天还是否活跃,是以每天为单位进行计算的.
一般收到的需求都是一个时间段内的新增用户的几天留存

(1)找到这个时间段内的新增用户(也可能含有地区啊的各种附加条件),一般在日活表中有记录是否是新增状态.
　　注意,需要以天为单位进行分组找出用户的id.因为留存率都是以每天为单位进行计算的.
　　表结构(register_date,user_id)

(2)找到这个时间段内的活跃用户(active_date,user_id)

(3)以 1表为主表left join 2表以user_id为关联键,统计留存数

　　这样后的记录类型为:register_date,user_id,active_date

　　register_date为新增日期,即留存率的单位天.

　　user_id为用户id,distinct user_id来计算用户数

留存率怎么算?
　　active_date - register_date = 1,说明注册的次日用户是活跃的,所以count+1
　　所以我们只要关注 active_date 和 register_date 相差天数即可统计留存数
　　取天数差的时候用datediff(active_date,register_date)来计算,active_date 和 register_date 的格式为 yyyy-MM-dd

(4)计算留存率

代码模板：原文中存在一些小错误，已改正，group by 中的数字我这边是报错的，所以可直接替换为对象的列名

SET mapreduce.job.queuename=xxx;
SET mapreduce.job.name=xxx;
set mapreduce.job.reduces=19;
--'日期', '注册用户数', '次日留存率', '2日留存率', '3日留存率'      select  dim_date,node_id,total_cnt,concat_ws('% | ', cast(round(dif_1cnt*100/total_cnt, 2) as string), cast(dif_1cnt as string)),concat_ws('% | ', cast(round(dif_2cnt*100/total_cnt, 2) as string), cast(dif_2cnt as string)),concat_ws('% | ', cast(round(dif_3cnt*100/total_cnt, 2) as string), cast(dif_3cnt as string)),concat_ws('% | ', cast(round(dif_4cnt*100/total_cnt, 2) as string), cast(dif_4cnt as string))from(select p1.state dim_date,p1.node_id,count(distinct p1.user_id) total_cnt,count(distinct if(datediff(p3.state,p1.state) = 1, p1.user_id, null)) dif_1cnt,count(distinct if(datediff(p3.state,p1.state) = 2, p1.user_id, null)) dif_2cnt,count(distinct if(datediff(p3.state,p1.state) = 3, p1.user_id, null)) dif_3cnt,count(distinct if(datediff(p3.state,p1.state) = 4, p1.user_id, null)) dif_4cntfrom(selectfrom_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,user_id，node_idfrom user_active_daywhere partition_date between date1 and date2and user_is_new = 1group by 1,2,3  --如果不行用字段替换，group by去重优于distinct)p1 --日新增用户名单(register_date,user_id)left outer join(selectfrom_unixtime(unix_timestamp(cast(partition_date as string), 'yyyyMMdd'), 'yyyy-MM-dd') state,user_id,node_idfrom active_userswhere partition_date between date1 and date2group by 1,2,3)p3 --期间活跃用户(active_date,user_id)on (p3.user_id = p1.user_id and p3.node_id=p1.node_id)group by 1,2) p4;

hive 关于用户留存率的计算相关推荐

用户留存率问题计算详解
数据分析工作中经常会遇到计算用户留存的相关问题,例如我们现在遇到这样一个场景, 某APP, 它的新增用户的次日留存.7日留存.30日留存为60%.30%.15%, 请模拟出来,每天如果日新增5万用户, ...
sql计算留存_SQL基础第七讲：关于用户留存率的计算
最近,好几个小伙伴都拿着关于用户留存的面试题来问我,所以今天单独开一篇文章讲一下留存问题. 首先看一下留存是什么,简单来说,我和你今天在一家超市购物了,明天我来购物了,你没来,那么我就是这个超市的留存 ...
Hive 计算用户留存率（次日，3日，N日）
文章目录什么是用户留存率? 创建数据源计算留存率计算 N 日的留存率什么是用户留存率? 用户留存率是指在特定时间段内,用户在使用某个产品或应用程序后,再次使用该产品或应用程序的比例. 它可以帮 ...
用SQL进行用户留存率计算
今天我们来分享一个常见案例,用SQL来计算用户留存率. 目录: 1. 案例数据 2. 思路分析 3. 完整代码 1. 案例数据这里我们一共两份日志数据,分别是用户账号创建的日志以及用户登录的日志. ...
hive练习题（二）计算用户的复购率和回购率
hive练习题(二)计算用户的复购率和回购率数据表ods_sales_orders前10行复购率定义:在某时间窗口内重复消费用户(消费两次及以上的用户)在总消费用户中占比例如,按月作为统计窗口 ...
app运营：用户留存率详解与计算案例
摘要: 文/BLUES留存率,越来越受到大家的关注,从网站用户到客户端产品,游戏产品,无线APP产品,都非常重视这一指标,留存率成为衡量一个产品是否健康成长的重要指标之一.留存率的"40–2 ...
Excel 利用同期群分析计算新用户留存率
业务分析方法中常用的有同期群分析,本文使用Excel和MySQL,结合同期群计算新注册用户的留存率,并放在实际的应用场景中进行分析. 一.简单介绍同期群分析 1.同期群分析(cohort analys ...
【SQL屠夫系列】- 高频面试之SQL计算用户留存率
文章目录指标背景指标计算真题思路开撸拓展在如今的程序员面试过程中,考察SQL部分能力,虽不是难点,但几乎是必考. 为检查思路盲点,避免翻船,各位看官也可以复盘下,如对你有一丝的帮助,欢迎 ...
如何高效计算用户留存率
如何高效计算用户留存率简单介绍留存率的概念,说明数仓建设中对留存率计算的优化思路什么是留存率在互联网行业中,用户在某段时间内开始使用应用,经过一段时间后,仍然继续使用该应用的用户,被认作是留存用 ...

hive 关于用户留存率的计算

hive 关于用户留存率的计算相关推荐

最新文章

热门文章