mysql collectset_005.hive列转行（collect

一、问题

hive如何将

a b 1

a b 2

a b 3

c d 4

c d 5

c d 6

变为：

a b 1,2,3

c d 4,5,6

二、数据

test.txt a b 1

a b 2

a b 3

c d 4

c d 5

c d 6

三、答案

1.建表

drop table tmp_jiangzl_test;

create table tmp_jiangzl_test

(

col1 string,

col2 string,

col3 string

)

row format delimited fields terminated by '\t'

stored as textfile;

load data local inpath '/home/jiangzl/shell/test.txt' into table tmp_jiangzl_test;

2.处理

select col1,col2,concat_ws(',',collect_set(col3))

from tmp_jiangzl_test

group by col1,col2;

四、关于我们

本文author：数据的开拓者成员之一江中炼

QQ群：248087140

座右铭：

你在你擅长的领域牛逼，

并带着一群小白变牛逼，

别人会发自内心的去尊重你的。

--可点击加入我们

mysql collectset_005.hive列转行（collect_set() 去重）相关推荐

HIVE 列转行字段分组截取随笔#collect_list/collect_set
背景:报案系统,每个用户的报案信息按照各自的当前的进展环节被记录,并且统一环节可能有多条记录,需取最近一次更新的记录.现要将所需的字段挑选出来并生成一行新的记录,保证一人一条记录,若无对应信息则显示N ...
hive 列转行_掌握这个SQL技巧超越80%的人——行转列/列转行
在做特征工程的时候,会经常会碰到一个场景,比如手上有一张用户表user,记录了用户某款产品每一天各个功能的使用次数,存储方式类似key-value键值结构.具体如下: 用户使用行为统计表user 此时 ...
mysql如何把列转行_mysql列转行的技巧(分享)
前言: 由于很多业务表因为历史原因或者性能原因,都使用了违反第一范式的设计模式.即同一个列中存储了多个属性值(具体结构见下表). 这种模式下,应用常常需要将这个列依据分隔符进行分割,并得到列转行的结果 ...
Hive列转行 (Lateral View + explode)详解
需求: <疑犯> 悬疑,动作,科幻,爱情 <lies> 悬疑,警匪,动作,心理,剧情 <战狼> 战争,动作,灾难转成如下格式:<疑犯> 悬疑 <疑 ...
sql server 怎么实现mysql中group_concat,列转行,列用分隔符拼接字符串
为什么80%的码农都做不了架构师?>>> create table tb(id int, value varchar(10)) insert into tb values(1, ...
MYSQL之如何列转行
一.需求:有三张表,学生表.成绩表和课程表,我们可以通过连表查询出学生姓名.课程及对应的成绩: 所需表sql -- ---------------------------- -- Table stru ...
MYSQL中的列转行
select id, group_concat(name) as NAME from student group by id; id name 1 张三 2 李四 1 王 ...
MYSQL 列转行方法
MYSQL 列转行方法目标上周遇到个业务场景,要求把一列中用分隔符连接的数据,通过分隔符转多行,形如: 转为准备表结构 CREATE TABLE `t_tag` (`id` int NOT N ...
mysql 列转行union all_MySQL中的列转行 - osc_qheq8wav的个人空间 - OSCHINA - 中文开源技术交流社区...
mysql中的列转行在工作中遇到的一个MySQL列转行的统计: 场景用户访问app时会跳出标签选择页面让用户选择喜欢的标签,在数据库中记录的是数组样式的字符串,数据样式大致如下: id user_ ...

mysql collectset_005.hive列转行（collect_set() 去重）

mysql collectset_005.hive列转行（collect_set() 去重）相关推荐

最新文章

热门文章

mysql collectset_005.hive列转行 （collect_set() 去重）

mysql collectset_005.hive列转行 （collect_set() 去重）相关推荐

最新文章

热门文章

mysql collectset_005.hive列转行（collect_set() 去重）

mysql collectset_005.hive列转行（collect_set() 去重）相关推荐