CDH安装文档目录

文章目录

0、准备
1、配置免密码登录
2、配置环境变量
- 2.1、配置主机名，安装JDK
- 2.2、安装mysql
- - 2.2.1、查看mysql是否安装
  - 2.2.2、主节点安装mysql
- 2.4、NTP安装
3、CDH Manager包文件文件上传分发
4、CDH5的安装配置
5、hdfs的高可用配置
6、kafka安装
7、配置修改
8、断电启动异常（重要）

0、准备

虚拟机或者实体机，安装CenterOs 6.5
主机配置建议: 内存8G+
默认账户密码 admin
通过ifconfig查看主机ip
我这里三台虚拟机:
H1 192.168.19.128 （主机）
H2 192.168.19.129 （从机）
H3 192.168.19.130 （从机）

博文需要用到的脚本下载地址：cdh及其组件安装的shell脚本集合。

1、配置免密码登录

1、修改hostip.properties文件，按行加入主机、从机的ip地址。

2、需要将shell文件夹上传到主节点的root目录下，在主节点机器上执
行脚本clientSSHAuthorize.sh

输入任意名字作为保存keyFile ,密码为空

注脚本执行过程：
 在h1执行 ./clientSSHAuthorize.sh h2IP
 脚本运行完会自动连接到h2机器，切换目录 cd shell,执行 ./otherClientSSHAuthorize h3IP
 脚本运行完会自动连接到h3机器, 切换目录 cd shell,执行 ./otherClientSSHAuthorize h4IP
 …
 脚本运行完会自动连接到hn机器, 切换目录 cd shell,执行 ./otherClientSSHAuthorize h1IP
 执行完毕

2、配置环境变量

注意：如果客户指定主机名，不使用默认的h1.hadoop等，查看shell——客户指定主机名—更改主机名.txt，参照操作。

2.1、配置主机名，安装JDK

修改 setConfig.sh 脚本内容：

#install java8
scp jdk-8u73-linux-x64.tar.gz root@$host_ip:/root/shell/
echo "====install java on $host_ip===="
ssh -p 22 root@$host_ip "cd /root/shell && tar --no-same-owner -zxvf jdk-8u73-linux-x64.tar.gz && mkdir /usr/java/ && mv jdk1.8.0_73 /usr/java/"#source /etc/profile
ssh -p 22 root@$host_ip 'echo JAVA_HOME=/usr/java/jdk1.8.0_73 >> /etc/profile'
ssh -p 22 root@$host_ip 'echo JRE_HOME=/usr/java/jdk1.8.0_73/jre >> /etc/profile'
ssh -p 22 root@$host_ip 'echo PATH=\$PATH:\$JAVA_HOME/bin:\$JRE_HOME/bin >> /etc/profile'
ssh -p 22 root@$host_ip 'echo CLASS_PATH=.:\$JAVA_HOME/lib:\$JRE_HOME/lib >> /etc/profile'
ssh -p 22 root@$host_ip 'echo export JAVA_HOME JRE_HOME CLASS_PATH PATH >> /etc/profile'
ssh -p 22 root@$host_ip 'source /etc/profile'
echo "====finish java on $host_ip===="

在主节点上执行脚本setConfig.sh，该脚本主要完成以下工作:

1、完成关闭防火墙、修改主机名、修改主机名映射，脚本执行完毕后在每台机器上执行 java -version，查看java是否正确安装，如果没有正确安装执行以下命令：source /etc/profile

2、完成java安装
注意：执行完成后通过java -version验证配置安装是否生效，如显示的还是java1.7的版本，则在该机器上执行以下命令：alternatives --config java
如果出现类似以下结果：

输入正确路径对应的数字回车即可。

3、重启每台机器
reboot

2.2、安装mysql

2.2.1、查看mysql是否安装

执行命令 ps -ef | grep mysql，查看mysql是否安装

2.2.2、主节点安装mysql

1、查看是否有mysql-server
yum list mysql-server
2、通过 yum install mysql-server 安装mysql服务器有选择时输入 y ，最后看
到 Complete ，表示安装服务器成功
3、常见错误解决方法
如果出现 yum [Errno 256] No more mirrors to try 的错误，
输入下面的命令即可解决问题：
yum clean all
yum makecache
然后再从新执行：
yum list
yum install mysql-server 即可
4、执行 startMysql.sh 初始化数据库相关信息。

2.4、NTP安装

1、执行setNTP.sh，然后重启所有机器。
2、执行installNTP.sh脚本，观察输出值，其中2-5为on状态就代表成功。
3、常见错误解决方法
如果出现 yum [Errno 256] No more mirrors to try 的错误，输入下面的命令即可解决问题：
yum clean all
yum makecache
然后再从新执行：
yum list
yum install ntp
chkconfig ntpd on
chkconfig --list ntpd 即可
4、配置NTP服务
(1) 配置主节点的ntp服务

修改masterntp.sh这个脚本里的ntpIp为时间同步服务器ip，如图所示，这个ip地址由事业部人员提供，用于时间同步。(可以选主机ip)

(2) 然后执行脚本masterntp.sh，执行后查看ntp状态，命令ntpstat，

这个过程需要5-10分钟，最终变成以下效果：
5、配置子节点的ntp服务
在主节点执行脚本slaverNtp.sh

3、CDH Manager包文件文件上传分发

1、下载cloudera-manager-el6-cm5.5.2_x86_64 ，放到主节点shell目录下
2、执行installCDH.sh脚本。
3、将CHD5相关的Parcel包上传到主节点的 /opt/cloudera/parcel-repo/ 下，相关的文件如下网页）及列表文件：
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel
CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha1
manifest.json

4、执行脚本startCDHService.sh
需要修改：

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
/opt/cm-5.5.2/etc/init.d/cloudera-scm-server restart
for host_ip in $(cat /root/shell/hostip.properties)
doecho $hostipssh -p 22 root@$host_ip "sysctl vm.swappiness=0"ssh -p 22 root@$host_ip "echo \"vm.swappiness=0\" >> /etc/sysctl.conf"ssh -p 22 root@$host_ip "echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag"#ssh -p 22 root@$host_ip "chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo"ssh -p 22 root@$host_ip "mkdir /var/log/cloudera-scm-agent/"ssh -p 22 root@$host_ip "mkdir /var/lib/cloudera-scm-agent/ssh -p 22 root@$host_ip "/opt/cm-5.5.2/etc/init.d/cloudera-scm-agent restart"
done

4、CDH5的安装配置

1、Cloudera Manager Server和Agent都启动以后，就可以进行CDH5的安装配置了。
这时可以通过浏览器访问主节点的7180端口测试一下了（由于CM Server的启动需要花点时间，这里可能要等待一会才能访问），默认的用户名和密码均为admin
192.168.19.128:7180/cmf/login
2、选择免费版安装

没错误可以继续，
- 根据提示安装CDH包，可以在线安装，或者提前手动下载后复制到/opt/cloudera/parcel-repo目录
- 前面已经放入/opt/cloudera/parcel-repo三个文件，如下
- CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel、CDH-5.5.2-1.cdh5.5.2.p0.4-el6.parcel.sha1、manifest.json，
- 这里会提示 “CDH-..-.cdh*...p0.-el.parcel没有 .sha验证文件”，将CDH-..-.cdh*...p0.-el.parcel.sha1改后缀为sha，点击刷新，就可以安装。

（另外，CDH manaenger会认CDH版本，可以根据提示在线下载选定的版本，或者手动下载后复制到/opt/cloudera/parcel-repo目录）。

所有服务都不装，主机占用内存~2G，磁盘10G, 其他从机内存_400M,磁盘6G。。。

3、安装服务，选自【定义服务】根据自己需要选择安装（也可跳过后期再添加）

// 后续根据需要配置安装
Zookerper直接添加服务。
Kafka先要下载parcel包，分配成功后，再激活。最后在主页添加服务。
4、数据库设置
- 1、hive对应的输入hive/root/root123456
- 2、Oozie server对应的输入amon/root/root123456
5、Hive驱动引起的错误

解决方法, 在主节点上输入命令：

cp shell/mysql/mysql-connector-java-5.1.37-bin.jar /opt/cloudera/parcels/CDH-5.5.2-1.cdh5.5.2.p0.4/lib/hive/lib/

6、oozie出现以上类似错误
解决方法, 在主节点上输入命令
oozie安装出错时把mysql-driver拷贝到 /var/lib/oozie
cp shell/mysql/mysql-connector-java-5.1.37-bin.jar /var/lib/oozie
7、基本流程按照下面的流程走，遇到问题有相依的处理方法，但注意以下的几个配置路径要放在文件空间目录上。
8、完成安装

5、hdfs的高可用配置

高可用性配置参考《CDH里HDFS的HA配置.doc》。

6、kafka安装

CDH安装完成以后需要安装kafka，如何安装参见CDH集成Kafka文档：kafka_CDH/CDH集成Kafka.docx

7、配置修改

1、 hdfs的配置修改，将检查hdfs权限（dfs.permissions）这个勾选去除，不选中。
2、 flume安装完成以后需要修改系统用户和系统组为：root。
3、修改flume每个要使用到的agent，单独配置修改Java堆栈大小为4G.
4、 kafka的日志目录设置为一个存储空间较大的磁盘，配置项为：Data Directories（log.dirs）。
5、 kafka每个broker单独配置该broker的advertised.host.name为本机ip，暴露本地ip供外部producer连接。

8、断电启动异常（重要）

目前仅启动 zookeeper、 kafka
断电之后，我们尝试重启cdh，通过命令行
h1.hadoop

# /opt/cm-5.5.2/etc/init.d/cloudera-scm-server restart
cloudera-scm-server is already stopped
Starting cloudera-scm-server:                              [  OK  ]

h1-h4.hadoop

# /opt/cm-5.5.2/etc/init.d/cloudera-scm-agent restart
cloudera-scm-agent is already stopped
Starting cloudera-scm-agent:                               [  OK  ]

都正常,但是 http://192.168.3.171:7180/cmf/home 不能访问。找到根本错误如下

[root@h1 init.d]# /opt/cm-5.5.2/etc/init.d/cloudera-scm-server status
cloudera-scm-server dead but pid file exists

先直接rm run/cloudera-scm-server.pid, 再次启动仍然不能访问。

没有去查看cloudera的详细日志，先查看了mysql的相关进程和服务。

# /etc/rc.d/init.d/mysqld status
mysqld is stopped
[root@h1 shell]# service mysqld start
Another MySQL daemon already running with the same unix socket.
Starting mysqld:                                           [FAILED][root@h1 bin]# find / -name mysql.sock
/var/lib/mysql/mysql.sock
[root@h1 bin]# mysql -u root -p -S /var/lib/mysql/mysql.sock
Enter password:
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (111)

数据库异常，直接 rm /var/lib/mysql/mysql.sock，再执行

[root@h1 mysql]# service mysqld start
Starting mysqld:                                           [  OK  ]

后面再启动cdh，再次访问7180端口网页，重启相关服务。

cdh平台安装详细教程相关推荐

基于百度云主机的USDP 2.x 安装详细教程
基于百度云主机的USDP 2.x 安装详细教程 1. USDP 简介 UCloud Smart Data Platform(简称 USDP),是 UCloud 推出的云上智能化.轻量级的大数据基础 ...
各学科、各专业、全系列软件图文、视频安装详细教程总贴——CM（changeMax）独家制作，汇总
各学科.各专业.全系列软件图文.视频安装详细教程总贴你好,我是change max,本人写博客已有一个年头了.经过一年多的沉淀,我发现了一个现状: 对于各种专业性的技术贴各位的关注度不高,或者说,本 ...
【dubbo-2.5.x】Linux下dubbo-admin监控/管理平台部署详细教程
前言 Dubbo-Admin是Dubbo控制台管理的工具,是Dubbo组件之一,需要Dubbo-Admin管理平台来实时对服务调用情况进行调整,比如控制分布式服务的调用权重等,通过调整调整调用权重来控 ...
Python环境搭建—安利Python小白的Python和Pycharm安装详细教程
人生苦短,我用Python.众所周知,Python目前越来越火,学习Python的小伙伴也越来越多.最近看到群里的小伙伴经常碰到不会安装Python或者不知道去哪下载Python安装包等系列问题,为了 ...
Prescan8.5安装详细教程
Prescan8.5软件安装详细教程 Win10 64位 PreScan是西门子公司旗下汽车驾驶仿真软件产品,Prescan是以物理模型为基础,开发ADAS和智能汽车系统的仿真平台.支持摄像头.雷达. ...
企业版mysql安装教程linux,linux上mysql安装详细教程
所有平台的MySQL下载地址为: MySQL 下载. 挑选你需要的 MySQL Community Server 版本及对应的平台. MySQL - MySQL服务器.你需要该选项,除非你只想连接运行 ...
最新PyCharm安装详细教程
目录一.PyCharm下载网站二.单击网站的Downloads,进入二级页面,选择对应的操作系统下载PyCharm 三.PyCharm的安装程序的安装及其配置 (1)运行PyCharm Setup ...
申请社交平台appkey详细教程
申请社交平台appkey详细教程大部分app都需要实现分享到微信.微博等社交平台的功能,但是在各个平台上申请appkey是一件很繁琐的事情.现在来分享一个申请社交平台appkey详细教程,在开发过程 ...
python的安装教程-python安装教程 Pycharm安装详细教程
python安装教程和Pycharm安装详细教程,分享给大家. 首先我们来安装python 1.首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downlo ...

cdh平台安装详细教程