CDH安装手册(自整理)
文章目录
- 前言
- 1.组件版本
- 2.集群规划(三台服务器为例)
- 3.配置linux静态IP
- 4.修改hosts文件,并实现免密登录
- 5.创建集群分发脚本
- 6.关闭防火墙和SELINUX(所有节点)
- 7.配置NTP时钟同步
- 8.安装jdk和mysql
- 9.搭建本地yum源并安装
- 10.在数据库中建库
- 11.启动服务
- 12.访问网页及集群操作
- 总结
前言
Cloudera’s Distribution Including Apache Hadoop。简称CDH,解决了原生Apache hadoop版本管理混乱、部署过程繁琐、升级过程复杂、兼容性差、安全性低等缺点,能够对集群进行集中的管理和运维。其内各服务组件的安装也是非常的简单。通过的web页面也是极大的方便了人们对于集群状态的查看。
本菜鸟QQ:599903582
笨鸟先飞,熟能生巧 ~
比心心 ~
提示:以下是本篇文章正文内容,下面案例可供参考
1.组件版本
Centos7
Mysql 5.7.25
Jdk1.8.0_144
Cm6.3.1
Cdh6.3.2
2.集群规划(三台服务器为例)
3.配置linux静态IP
IPADDR=192.168.2.201
GATEWAY=192.168.2.1
DNS1=8.8.8.8
4.修改hosts文件,并实现免密登录
[xu@node1 ~]$ ssh-keygen -t rsa[xu@node1 ~]$ ssh-copy-id node1
[xu@node1 ~]$ ssh-copy-id node2
[xu@node1 ~]$ ssh-copy-id node3
5.创建集群分发脚本
#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=1; host<=3; host++)); doecho ------------------- node$host --------------rsync -av $pdir/$fname $user@node$host:$pdir
done
6.关闭防火墙和SELINUX(所有节点)
修改配置文件/etc/selinux/config
[root@node1 bin]# vim /etc/selinux/config将SELINUX=enforcing 改为SELINUX=disabled,然后将该文件分发;
需要重启关闭防火墙
[root@node1 selinux]# systemctl stop firewalld.service
[root@node1 selinux]# systemctl disable firewalld.service
7.配置NTP时钟同步
1)NTP服务端配置
[root@node1 ~]# vi /etc/ntp.conf
注释掉所有的restrict开头的配置
修改#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
为restrict 192.168.2.201 mask 255.255.255.0 nomodify notrap
将所有server配置进行注释
添加下面两行内容
server 127.127.1.0
fudge 127.127.1.0 stratum 102)启动NTP服务 service ntpd start
[root@node1~]# service ntpd start3)NTP客户端配置(在agent主机上进行配置node2,node3)
[root@hadoop103 ~]# vi /etc/ntp.conf注释所有restrict和server配置
添加server 192.168.2.2014)手动测试
[root@hadoop103~]# ntpdate 192.168.2.201
显示如下内容为成功:
17 Jun 15:34:38 ntpdate[9247]: step time server 192.168.1.102 offset 77556618.173854 sec
如果显示如下内容需要先关闭ntpd:
17 Jun 15:25:42 ntpdate[8885]: the NTP socket is in use, exiting5)启动ntpd并设置为开机自启(每个节点node1,node2,node3)
[root@node2 ~]# chkconfig ntpd on
[root@node2 ~]# service ntpd start
6)使用群发date命令查看结果
8.安装jdk和mysql
安装JDK(三台)
1)在node1创建/usr/java目录
[root@node1 opt]# mkdir /usr/java (cloudera会到该目录下寻找JDK,即使配置java_home也不行)
2)用Xshell将jdk-8u144-linux-x64.tar.gz上传至hadoop102,并解压到/usr/java目录下。
[root@node1 ~]# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/java/
3)配置JAVA_HOME环境变量
(1)打开/etc/profile文件
[root@node1 software]$ vi /etc/profile
在profile文件末尾添加JDK路径
#JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
(2)让修改后的文件生效
[root@node1 jdk1.8.0_144]$ source /etc/profile
4)测试JDK是否安装成功
[root@node1 jdk1.8.0_144]# java -version
java version "1.8.0_144"
5)将node1中的JDK和环境变量分发到node2、node3两台主机
[root@node1 opt]# xsync /usr/java/
[root@node1 opt]# xsync /etc/profile分别在node2、node3上source一下
[root@node2 ~]$ source /etc/profile
[root@node3 ~]# source /etc/profile
安装MySQL及其驱动
mysql要安装在master中。
卸载原有的Maradb和Mysqlrpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs
rpm -qa | grep mysql
解压之后
rpm -Uvh *.rpm --nodeps --force1.首先关闭mysql服务 service mysqld stop
2.修改配置文件 vim /etc/my.cnf 添加skip-grant-tables
3.即可实现空密码登录
4.登录后先 flush privileges 改密码 set password for root@localhost = password('123456');
5.设置远程登录
6.重启mysql并设置为开机自启
9.搭建本地yum源并安装
[root@master ~]# yum -y install httpd
[root@master ~]# service httpd restart
Redirecting to /bin/systemctl restart httpd.service
[root@master ~]# chkconfig httpd on编辑本地yum源配置文件,如果是纯没有网络的环境,需要将Centos-Base.repo改名
vim /etc/yum.repos.d/cloudera-manager.repo
文件内容如下
[cloudera-manager]
name=cloudera-manager
baseurl=http://192.168.2.201/cm6.3.1/
enabled=1
gpgcheck=0然后使用之前编写的分发脚本分发该配置文件;yum clean all
yum repolist
yum makecache三个节点进行安装:
[root@node1 ~]# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
[root@node2 ~]# yum install cloudera-manager-agent cloudera-manager-daemons
[root@node3 ~]# yum install cloudera-manager-agent cloudera-manager-daemons报错:缺少一些环境,手动下载rpm包进行安装即可。修改配置文件:
vim /etc/cloudera-scm-agent/config.ini
10.在数据库中建库
1)创建各组件需要的数据库
mysql> CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;mysql> CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;2)为CM配置数据库(自带脚本)下载数据库连接驱动:https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.46.tar.gz全部节点:并将jar包放在 /usr/share/java中。并改名为 mysql-connector-java.jar将jar包拷贝
cp mysql-connector-java.jar /opt/cloudera/cm/schema/../lib//opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm root 123456
// scm 是数据库
11.启动服务
[root@node1 ~]# systemctl start cloudera-scm-server[root@node1 ~]# systemctl start cloudera-scm-agent[root@node2 ~]# systemctl start cloudera-scm-agent[root@node3 ~]# systemctl start cloudera-scm-agent
12.访问网页及集群操作
通过 https://node1:7180 进行访问 用户和密码都是admin
使用本地的Parcel;
Hive的元数据需要放在安装mysql的Node1上。
总结
CDH的使用极大的方便了人们对于集群的操作。对于硬件的要求相对来说比较高,建议使用阿里云服务器来进行安装学习。
本菜鸟QQ:599903582
笨鸟先飞,熟能生巧 ~
比心心 ~
CDH安装手册(自整理)相关推荐
- CDH安装手册(详细过程)
安装步骤 第一步:修改主机名 修改/etc/sysconfig/network文件: NETWORKING=yes HOSTNAME=master 其中HOSTNAME与主机名一致.主机名如果跟系统安 ...
- CDH5离线安装手册
Cloudera manage(离线)安装手册 (按步骤操作) 1. 准备工作 1.1. 系统环境 硬件设备:vm虚拟机 网络组成: 192.168.210.131master 19 ...
- 华为服务器安装系统流程图,华为a安装手册.docx
资料内容仅供您学习参考,如有不当或者侵权,请联系改正或者删除. 第一章综述 Quidway? A8010 接入服务器 安装手册>是 Quidway? A8010 接入服务器系列手册之一 , 编写 ...
- Oracle安装手册
Oracle安装手册 整理:罗代均 luodaijun@vip.163.com 目录 1.Linux常用命令 2 2.安装Oracle 10gR2 3 3.Oracle中文支持问题 5 4.Oracl ...
- 史上最全cdh安装详细教程
此篇文章主要介绍了CDH在centos 6.x下的安装,在centos 7 版本中的安装以后会推出. 这篇文档将着重介绍Cloudera管理器域CDH的安装,并基于以下假设: >>操作系统 ...
- 熬10天夜,肝出了这个PDF版“软件安装手册”(附下载)
来源:CodeSheep 全文约1100字,建议阅读18分钟 您可阅读至文末安装~ 标签:编程开发 嗯 ? woc,这个学期过了就要找工作了,之前看羊子发的那个"Java后端开发学习路线图& ...
- DataWorks 安装手册
2019独角兽企业重金招聘Python工程师标准>>> DataWorks 安装手册 tags: gsac [TOC] 1. 环境介绍 系统 : CentOS release 6.8 ...
- Nessus 4.4 windows and linux 安装手册
Nessus 4.4 windows and linux 安装手册 网上Nessus资料多是3.x或是更早期的nessus,而4.2后nessus架构已改为B/S结构,windows下也不是如以前一样 ...
- mysql 安装手册(转)
mysql 安装手册 李群林 转载了 刘守尉(无效) 的博文 [查看原文][转载时间:2012-08-07 17:28] 1.下载MySQL的Linux安装文件 Linux下安装MySQL需要下面 ...
最新文章
- freebsd系统/: write failed, filesystem is full问题解决办法
- oracle exp 二进制,Oracle备份之exp自动逻辑备份(二)
- spring使用JdbcTemplate和jdbcDaosupport及具名参数使用
- PDM 导出Excel
- pytest allure测试报告_用Pytest+Allure生成漂亮的HTML图形化测试报告
- 70进货卖100利润是多少_进货价8块的产品,在网上卖100块,这个电商卖家能赚多少!...
- jQuery 文本编辑器插件 HtmlBox 使用
- 【译】三层架构代码生成器(NetTierGenerator)
- 如何更高效、更系统地彻底搞懂3D视觉?
- Spyder中文版补丁下载及安装
- STM32HAL库IIC驱动SH1108芯片OLED屏
- daemontoolslite(DAEMONtoolslite 感叹号)
- CSU_WF-中南大学网络服务队2020招新培训-硬件知识
- linux驱动系列学习之DRM(十)
- AM335x uboot 移植
- 推荐系统的召回算法(一)—— 协同过滤法(基于用户)
- 无线传感网络的基本结构
- 【译】Javascript 的第三个时代
- 租户、用户、角色的关系总结
- JavaFX入门教程
热门文章
- 安化县东坪完小师生们顺利完成云台山风景区研学之旅
- matlab set cdata,matlab中set语句赋值出现输入的参数的数目不足情况,求解决!
- (Leiden)From Louvain to Leiden:guaranteeing well-connected communities
- c语言编程 人造卫星的高度,C语言实验教学教案2008
- Elastic Stack(ELK6.6.2)安装及使用
- 二叉树 | 二叉树的深度
- 谷粒商城微服务分布式基础篇二—— Spring Cloud Alibaba、Nacos注册与发现
- stm8 RTC自动唤醒
- vi模式下的几种常用的保存文件并退出命令
- Matlab绘图技巧--如何去除图上方和右方刻度