在Hive中使用过的函数记录（百分比、截取字符串、分组TOP N、日期转换、日期是第几周）

1、显示百分比形式

-- 保留小数点后四位 * 100，连接%
concat(round(x/y, 4) * 100, '%')

例：

2、取出日期年月

-- 截取字符串
substr(ord_dt, 1, 6)

例：

3、分组后，从每个组内取出各自的TOP N

row_number() OVER (partition by COL1 order by COL2 desc ) rank

说明：参考自： https://www.jianshu.com/p/9802f3a035e1

partition by：类似hive的建表，分区的意思；
order by：排序，默认是升序，加desc降序；
rank：表示别名
表示根据COL1分组，在分组内部根据 COL2排序，而此函数计算的值就表示每组内部排序后的顺序编号（组内连续的唯一的)

例：

SELECT *
FROM
(   SELECT ...,row_number() over (partition by substr(ord_dt, 1, 6) order by COUNT(1) desc ) rankFROM table_nameWHERE ....GROUP by ..., substr(ord_dt, 1, 6),...
) c
WHERE c.rank <= 20

4、将20190410这种格式的日期转换为2019-04-10的格式

-- 先将ord_dt转换为Unix时间戳，再将时间戳秒数转换为指定格式的日期
select from_unixtime(unix_timestamp(ord_dt,'yyyymmdd'),'yyyy-mm-dd');

例：

5、根据2019-04-10这种格式的日期统计该日期是2019年的第几周

weekofyear('2019-04-10');

例：

注意：使用时需要注意跨年的时候有异常，比如20181231是周一，结果会输出1，表示为2019年的第一周

补充（慎用）：

当每天都有订单的前提下，按周分组统计并且需要每周的日期范围，可以使用下面方法

-- 取出每周日期范围
concat(MIN(ord_dt), "~", MAX(ord_dt)) AS dt,

在Hive中使用过的函数记录（百分比、截取字符串、分组TOP N、日期转换、日期是第几周）相关推荐

HIve 中 collect_list和collect_set 函数的使用总结
Hive中collect相关的函数有collect_list和collect_set. 它们都是将分组中的某列转为一个数组返回,collect_list函数不去重而collect_set函数会去重. ...
hive中的UDF 自定义函数：如何创建临时/永久函数
文章目录一.为什么要使用自定义函数二.自定义函数的种类三.创建自定义函数 1.创建一个maven工程(以idea为例) 2.编写方法要求: 调用函数在输入的字符串之前添加上字符串"H ...
hive中insert插入一条记录报错，跪求高人指点！！！
问题描述: 在hive中创建数据库和数据表之后,进行insert操作报错. hive (myhive)> insert into stu values (1,"zhangsan&quo ...
substr()函数——mysql：截取字符串子串
substr()函数:截取字符串子串 1.substr(str,pos); SELECT SUBSTR('2018-08-17',6); 2.substr(str from pos); SELECT ...
hive中的时间处理函数
更多好的文章就在 blog.haoitsoft.com,请大家多多支持! 日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixt ...
大数据之Hive：hive中的cross join函数
目录 1.简介 2.简单示例 3.实战需求一: 具体实现需求二: 具体实现 1.简介 CROSS JOIN是sql中的一种连接方式,区别于内连接和外连接,对于cross join连接来说,其实使用 ...
hive中：row_number()排序函数的使用
https://blog.csdn.net/javajxz008/article/details/53493509 第一步: select *,row_number() over(distribute ...
JavaScript 中的所有事物都是对象：字符串、数字、数组、日期，等等。朗郎视力保健按摩服务中心，计次卡服务，消费一次扣减一次，记账式的消费卡，只要带手机即可，不用实体卡
JavaScript 中的对象在 JavaScript 中,对象是数据(变量),拥有属性和方法. 当您像这样声明一个 JavaScript 变量时: var txt = "Hello&qu ...
Hive中的常用函数
一.Hive中collect_list和collect_set的区别二.Hive中四种排序(order by.sort by.distribute by.cluster by) 2.1 order ...
UDF函数在Hive中的使用
文章目录 UDF介绍 Hive中的内置函数开发一个UDF函数 ①创建一个普通的maven工程 ②pom文件中添加hive的依赖 ③开发UDF代码 ④打jar包 ⑤jar包上传服务器 Hive中添加U ...

在Hive中使用过的函数记录（百分比、截取字符串、分组TOP N、日期转换、日期是第几周）

在Hive中使用过的函数记录（百分比、截取字符串、分组TOP N、日期转换、日期是第几周）相关推荐

最新文章

热门文章