17年也可以说是大数据的一年,大数据一词在这些年横空崛起,Hadoop和Hive使用的越来越多,本期我们来学习下如何使用Hadoop和Hive对航空公司客户进行价值分析。航空公司通常会将客户划分成几种客户,如:重要保持客户、重要发展客户、重要挽留客户、一般客户和低价值客户。我们首先使用Hive对客户数据进行探索分析、数据预处理并且建立LRFMC模型,在使用Hadoop使用Kmeans对客户进行聚类分群,来实现航空公司利益最大化。

hadoop

我们本次教程使用的数据集包含了62988条数据,其中大约有44个字段,主要字段有客户基本信息(会员卡号,入会时间等)、乘机信息(票价收入,平均折扣率等)、积分信息(积分兑换次数等)。

我们先来看下数据的格式:

数据格式1

数据格式2

数据格式3

数据格式4

得知数据类型后,我们首先在H

大数据教程:Hadoop+Hive进行航空公司客户价值分析相关推荐

  1. Ubuntu 配置大数据平台hadoop hive数据仓库之完整踩坑

    导读:作为大数据界的萌新,这篇文章的写作过程,经历了各种阻挠,也踩了无数坑,俗话说面向CSDN.度娘编程,然后多看官方文档,在遇到各种神奇的坑的时候,搜着搜着就到了国外,刹那间一大堆英文向你飞来,就知 ...

  2. 好程序员大数据教程分享之Hadoop优缺点

    好程序员大数据教程分享之Hadoop优缺点,大数据成为时代主流,开启时代的大门,全球43亿部电话.20亿位互联网用户每秒都在不断地产生大量数据,人们发送短信给朋友.上传视频.用手机拍照.更新社交网站的 ...

  3. 尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】

    视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

  4. 尚硅谷大数据技术Hadoop教程-笔记01【大数据概论】

    视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

  5. 尚硅谷大数据技术Hadoop教程-笔记03【Hadoop-HDFS】

    视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

  6. 什么是Hadoop?大数据与Hadoop简介

    要了解什么是Hadoop,我们必须首先了解与大数据和传统处理系统有关的问题.前进,我们将讨论什么是Hadoop,以及Hadoop如何解决与大数据相关的问题.我们还将研究CERN案例研究,以突出使用Ha ...

  7. Hadoop生态系统:用于处理大数据的Hadoop工具

    HADOOP生态系统 在上一个Hadoop Tutorial上的博客中,我们讨论了Hadoop,其功能和核心组件.现在,下一步是了解Hadoop生态系统.在开始使用Hadoop之前,这是一个必不可少的 ...

  8. 打怪升级之小白的大数据之旅(四十一)<大数据与Hadoop概述>

    打怪升级之小白的大数据之旅(四十) Hadoop概述 上次回顾 好了,经过了java,mysql,jdbc,maven以及Linux和Shell的洗礼,我们终于开始正式进入大数据阶段的知识了,首先我会 ...

  9. 细细品味大数据--初识hadoop

    初识hadoop 前言 之前在学校的时候一直就想学习大数据方面的技术,包括hadoop和机器学习啊什么的,但是归根结底就是因为自己太懒了,导致没有坚持多长时间,加上一直为offer做准备,所以当时重心 ...

最新文章

  1. 高速缓冲DNS相关配置详情
  2. servlet文件上传及下载
  3. Linux服务-DHCP服务部署
  4. Blazor带我重玩前端(三)
  5. 基础知识(七)opencv、python、人脸框检测
  6. 9.XSD 复合类型指示器
  7. android获取Mac地址和IP地址
  8. MangoDB基础-02
  9. 分层结构的生活例子_系统抽样和分层抽样在现实生活中有什么例子?
  10. 网页动画--鲜花爱心表白动画
  11. 模拟摄影测量和数字摄影测量
  12. vs code 快速生成html模板插件
  13. 前序遍历 (preorder traversal) - 中序遍历 (inorder traversal) - 后序遍历 (postorder traversal)
  14. 3第三课:区块链的激励机制
  15. 生成和扫描二维码(ZXing库)
  16. 《打开U盘发现全部文件变成快捷方式了》
  17. JDK 9-17 新特性介绍
  18. 设计了一款 IGBT单脉冲、双脉冲测试波形信号发生器
  19. Skywalking 简介
  20. Qt编程之Xml文件的读取

热门文章

  1. 微软改名部又出手:Office 365正在悄悄更名为Microsoft 365
  2. 缺流量、没创意?B站UP主如何快速学会爆款视频制作方法?
  3. 数据库系列6:数据库的6个范式
  4. Hibername三种状态(瞬时态 持久态 游离态)
  5. php vcf,php简单读取.vcf格式文件的方法示例
  6. 华为杯2022研究生数学建模赛题+解压码
  7. 全国大学生信息安全竞赛三等奖virusTotal论文展示
  8. iOS—[self class]和[super class]
  9. super,class,superClass区别
  10. 对line-hight和hight的使用