2021-01-18课堂检测二
一、环境要求
Hadoop+Hive+Spark+HBase 开发环境。
二、提交结果要求
1.必须提交源码或对应分析语句,如不提交则不得分。
2.带有分析结果的功能,请分析结果的截图与代码一同提交。
三、数据描述
meituan_waimai_meishi.csv 是美团外卖平台的部分外卖 SPU(Standard Product Unit ,
标准产品单元)数据,包含了外卖平台某地区一时间的外卖信息。具体字段说明如下:
四、功能要求
1.数据准备(10 分)
请在 HDFS 中创建目录/app/data/exam,并将 meituan_waimai_meishi.csv 文件传到该目录。并通过 HDFS 命令查询出文档有多少行数据。
-- 1.在 HDFS 中创建目录/app/data/exam
hdfs dfs -mkdir -p /app/data/exam202009
-- 2.将 meituan_waimai_meishi.csv 文件传到该目录
hdfs dfs -put meituan_waimai_meishi.csv /app/data/exam202009
-- 3.查询出文档有多少行数据
hdfs dfs -cat /app/data/exam202009/meituan_waimai_meishi.csv | wc -l
2.使用 Spark,加载 HDFS 文件系统 meituan_waimai_meishi.csv 文件,并分别使用 RDD和 Spark SQL 完成以下分析(不用考虑数据去重)。(50 分)
①统计每个店铺分别有多少商品(SPU)。
// 启动spark
spark-shell// 读取数据
val rdd=sc.textFile("hdfs://hadoop001:9000/app/data/exam202009/meituan_waimai_meishi.csv")-- Spark RDD:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2),1)).reduceByKey(_+_).foreach(println)或者:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(1),1)).reduceByKey(_+_).foreach(println)
-- Spark SQL:
// 导入包
scala> import org.apache.spark.sql._
scala> import org.apache.spark.sql.functions._
scala> import spark.implicits._
scala> import org.apache.spark.sql.types._val meituanDF = spark.read.format("csv").option("header", true).option("inferschema",true).load("hdfs://192.168.247.201:9000/app/data/exam202009/meituan_waimai_meishi.csv")scala> meituanDF.createOrReplaceTempView("meituantb")scala> spark.sql("select shop_name, count(spu_name) from meituantb group by shop_name").show()
②统计每个店铺的总销售额。
-- Spark RDD
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2), x(5).toDouble*x(7).toLong)).reduceByKey(_+_).foreach(println)
-- Spark SQL:
scala> spark.sql("select shop_name, sum(spu_price * month_sales) as totalMoney from meituantb group by shop_name").show()
③统计每个店铺销售额最高的前三个商品,输出内容包括店铺名,商品名和销售额,其
中销售额为 0 的商品不进行统计计算,例如:如果某个店铺销售为 0,则不进行统计。
-- Spark RDD
// 方式一:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(","))
.map(x => (x(2), x(4),x(5).toDouble*x(7).toLong))
.filter(x => x._3 > 0).groupBy(x => x._1)
.map(x => {x._2.toList.sortBy(-_._3).take(3)}).collect.foreach(println)// 方式二:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(","))
.map(x => (x(2), x(4),x(5).toDouble*x(7).toLong))
.filter(x => x._3 > 0).groupBy(x => x._1)
.map(x => {x._2.toList.sortBy(-_._3).take(3).foreach(x => {println(x._1+"----"+x._2+"----"+x._3)})}).collect// 方式三:
rdd.filter(x => x.startsWith("spu_id") == false).map(x => x.split(",")).map(x => (x(2), x(4),x(5).toDouble*x(7).toLong)).filter(x => x._3 > 0).groupBy(x => x._1).map(x => {val restltArr = x._2.toList.sortBy(-_._3).take(3)
(x._1, restltArr)
}).collect.foreach(x => x._2.foreach(y => println(y._1+"----"+y._2+"----"+y._3)))
-- Spark SQL:
scala> spark.sql("select temp.shop_name,temp.spu_name,temp.money,temp.rn from (select shop_name, spu_name, spu_price*month_sales as money, row_number() over(partition by shop_name order by spu_price*month_sales desc) as rn from meituantb) temp where temp.rn < 4").show()
3.创建 HBase 数据表(5 分)
在 HBase 中创建命名空间(namespace)exam,在该命名空间下创建 spu 表,该表下有1 个列族 result。
(1)在 HBase 中创建命名空间(namespace)exam
create_namespace 'exam202009'(2)在该命名空间下创建 spu 表,该表下有1 个列族 result
create 'exam202009:spu', 'result'
4. 请 在 Hive 中 创 建 数 据 库 spu_db , 在 该 数 据 库 中 创 建 外 部 表 ex_spu 指 向/app/data/exam 下的测试数据 ;创建外部表 ex_spu_hbase 映射至 HBase 中的 exam:spu表的 result 列族(20 分)
// 启动hive metastore元数据服务
hive --service metastore &(1)创 建 数 据 库 spu_db
create database spu_db;
(2)创 建 外 部 表 ex_spu 指 向/app/data/exam 下的测试数据
create external table if not exists ex_spu(
spu_id string,
shop_id string,
shop_name string,
category_name string,
spu_name string,
spu_price double,
spu_originprice double,
month_sales int,
praise_num int,
spu_unit string,
spu_desc string,
spu_image string)
row format delimited
fields terminated by ','
stored as textfile
location '/app/data/exam202009'
tblproperties("skip.header.line.count"="1");
(3)创建外部表 ex_spu_hbase 映射至 HBase 中的 exam:spu表的 result 列族
create external table if not exists ex_spu_hbase(
key string,
sales double,
praise int)
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties('hbase.columns.mapping'=':key,result:sales,result:praise')
tblproperties('hbase.table.name'='exam202009:spu');
5. 统计查询(15 分)
① 统计每个店铺的总销售额 sales, 店铺的商品总点赞数 praise,并将 shop_id 和shop_name 的组合作为 RowKey,并将结果映射到 HBase。
insert into ex_spu_hbase
select concat_ws("-",shop_id,shop_name) as key,sum(spu_price*month_sales) sales,sum(praise_num) praise
from ex_spu
group by shop_id,shop_name
② 完成统计后,分别在 hive 和 HBase 中查询结果数据。
hive> select * from ex_spu_hbase limit 10
hbase> scan 'exam202009:spu'
2021-01-18课堂检测二相关推荐
- 【总结】2021.01.18期末考总结
2021.01.23期末考总结 友链 前言 D a y Day Day - 10 10 10(体育) D a y Day Day - 3 3 3(英语口语) D a y Day Day 0 0 0 D ...
- 无名2021/01/18
可爱的产品给我提了两个后端的需求,然后.老大给怼回去了. 但是还是加了会班 在车上,我突然想到,最近的加班,? 我是愿意的. 真的愿意,即使一个星期不休息,也愿意 因为,我知道,这是为以后积累经验.哪 ...
- 2021年 第12届 蓝桥杯 Java B组 省赛真题详解及小结【第1场省赛 2021.04.18】
蓝桥杯 Java B组 省赛决赛 真题详解及小结汇总[题目下载.2013年(第4届)~2020年(第11届)] CSDN 蓝桥杯 专栏 2013年 第04届 蓝桥杯 Java B组 省赛真题详解及小结 ...
- 嬴群的Python程序设计基础学期总结 2021.01.04
Python程序设计基础学期总结 ## 时光像水中的倒影,一晃大一上学期就过去了.昨日那埋怨时间太慢的情愫似乎还游离在脑际,而今大一下学期生活正向我们走来,蓦然回首,感慨颇多.刚迈入大学的时候对一切似 ...
- 实战:怎样把间隔的几个commit整理成1个?-2021.11.18
实战:怎样把间隔的几个commit整理成1个?-2021.11.18 目录 文章目录 实战:怎样把间隔的几个commit整理成1个?-2021.11.18 目录 文档来源 实验环境 实验软件(无) 1 ...
- 一次挖矿入侵处理记录(2021.01.27)
https://github.com/bg6cq/ITTS/blob/master/security/mine/README.md 转自上面链接,也是我的亲身经历,供大家学习.网络安全大家引以为戒.爱 ...
- 2021/4/27课堂总结和作业
2021/4/27课堂总结 一.回顾上节课知识 1.Python是动态解释性语言 2.基础语法 注释 标识符 关键字:True.False.None 语句 常用数据和对应的类型 数字数据,int.fl ...
- 【347天】跃迁之路——程序员高效学习方法论探索系列(实验阶段105-2018.01.18)...
实验说明 从2017.10.6起,开启这个系列,目标只有一个:通过探索新的学习方法,用2年的时间,实现2.5倍速的成长,获得普通程序员>= 5年的技术水平. 实验期2年(2017.10.06 - ...
- 乐视网CEO梁军:现在就是缺钱 正在重新学习做生意 2017年09月20日01:18 新京报 37 微博 微信 QQ空间 添加喜爱 乐视网CEO梁军。 新京报记者 吴江 摄乐视网CEO梁军。 新京
乐视网CEO梁军:现在就是缺钱 正在重新学习做生意 2017年09月20日01:18 新京报 37微博微信QQ空间添加喜爱 乐视网CEO梁军. 新京报记者 吴江 摄 乐视网(15.330, 0.00, ...
最新文章
- python以某种编码进行打印_如何在一场面试中展现你对Python的coding能力?
- Python之schedule:schedule库的简介、安装、使用方法之详细攻略
- python-演练-输出一个等腰三角形-
- python socket模块 和pyqt_使用PyQt和Socket进行聊天编程[标准库]
- php提供的魔术常量
- 手把手教你写个ORM(一)
- 编程零基础,如何学 Python ?
- (十四)Struts2 验证框架
- 使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS
- 学习新方法:帅到没朋友
- 我的博客转到http://wangxin19871010.blog.163.com/
- 正睿集训模拟赛 Day1
- CAtia_打开提示:许可证过期怎么办
- 程序员六大不良习惯 看看你有啥职业毛病 ~
- Unity编写冰球对战游戏 2D版
- 文华期货数据格式公布
- NFT自由人有收藏价值吗?NFT发起的原因是什么,为什么这么贵?
- 网上花店java项目_Java+SSM实现网上花店售卖系统
- rebar3 windows下安装
- Variable变量
热门文章
- SAP SD VF016此项目同出具发票无关的原因
- WPF界面无法正常显示(资源引用,如转换器),但程序正常运行
- 玩手游哪款蓝牙耳机适合学生党?双12百元高性价比蓝牙耳机推荐
- 3月14日云栖精选夜读 | 阿里云成为开源组织CDF创始成员,积极推动软件生态构建...
- Css的一些效果代码(旋转,进度条,透明,固定)
- 荧火虫flash制作过程
- 深度学习100例 | 第41天-卷积神经网络(CNN):UrbanSound8K音频分类(语音识别)
- 强行更改Win端iTunes的存储目录
- HUAWEI华为笔记本平板电脑MateBook E 2019款高通版PAK-AL09原装出厂系统恢复原厂系统1809
- laravel5.8(十八)laravel 解决groupBy时出现的错误 isn“t in Group By问题