免费版CDH环境搭建(附带免费下载地址)

cloudera manage cdh6.3.3即以后的版本已经收费(下面附带cdh6.3.2免费版下载地址)

一 docker搭建

二安装包搭建(附带下载地址)

一.docker单节点安装

1.下载docker cloudera manage

# 搜索cloudera包
docker search cloudera
#拉取镜像
docker pull docker.io/cloudera/quickstart

启动镜像

docker run -d --name cdh  --hostname=cloudera --privileged=true -p 7180:7180 -p 8020:8020 -p 8022:8022 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 -p 8888:8888 -p 2181:2181 -p 10000:10000 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express --force && service ntpd start && tail -F /var/log/*.log'

访问web管理界面

默认用户名: admin

默认密码: admin

http://localhost:7180/

二 .安装包搭建

资源下载地址 CDH6.3.2 整套 hdfs,hbase,spark,hive,hue等等失效连接在2023/1/7已经更新补上

链接：https://pan.baidu.com/s/1hyxUbziugDQ4WYR9egzNTg?pwd=1111
提取码：1111

下载之后解压所有文件如下:

所有节点安装 (注意,如果之前安装过cdh,重装需要将之前的环境全部卸载掉,如何卸载干净百度查)

(1)配置ssh免密登录 (上网查)

(2)配置时间同步 (上网查)

(3)安装jdk1.8 (上网查)

(4)安装MySql (上网查)

(5)配置httpd

所有节点安装

yum install httpd

主节点启动httpd服务 httpd数据默认存放位置 /var/www/html/

systemctl start httpd

(6)配置cm

主节点将资料cm6.3.1-redhat7.tar.gz 解压后放入 /var/www/html/目录下的 /cloudera-repos/cm6 目录下

tar zxvf <cdh_home>/cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6

主节点赋值权限

chmod -R ugo+rX /var/www/html/cloudera-repos/cm6

在其他节点验证httpd是否成功

wget http://主节点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

所有节点配置 <chd_home>/cloudera-manager.repo

[cloudera-manager]
name=Cloudera Manager
baseurl=http://主节点ip:80/cloudera-repos/cm6
gpgkey=http://主节点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera
gpgcheck=1
enabled=1
autorefresh=0
type=rpm-md

所有节点将cloudera-manager.repo放置到/etc/yum.repos.d/目录

cp <cdh_home>/cloudera-manager.repo /etc/yum.repos.d/cloudera-manager.repo

所有节点导入GPG key

rpm --import http://主机点ip:80/cloudera-repos/cm6/RPM-GPG-KEY-cloudera

安装服务

# 在主节点安装cloudera agent和cloudera server
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server -y
# 在其他节点安装ccloudera agent
yum install cloudera-manager-daemons cloudera-manager-agent -y

在mysql中创建元数据

create database amon default character set utf8 default collate utf8_general_ci;
create database rman default character set utf8 default collate utf8_general_ci;
create database hue default character set utf8 default collate utf8_general_ci;
create database metastore default character set utf8 default collate utf8_general_ci;
create database sentry default character set utf8 default collate utf8_general_ci;
create database nav default character set utf8 default collate utf8_general_ci;
create database oozie default character set utf8 default collate utf8_general_ci;

设置用户权限,开启远程连接

grant all on *.* to 'root'@'%' identified by 'root对应的密码';
flush privileges;

主节点下载mysql驱动

#创建驱动存放目录
mkdir /usr/share/java
# 下载驱动
wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.49/mysql-connector-java-5.1.49.jar
#将驱动存入目录
mv mysql-connector-java-5.1.49.jar  /usr/share/java/mysql-connector-java.jar

初始化CM数据库登录密码中重新初始化需要删除文件 /var/lib/cloudera-scm-agent/cm_guid

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h数据库ip -uroot -p'密码' --scm-host 主节点ip 数据库名称 数据库用户名 数据库密码

示例:

安装parcels对应的4个文件如下

修改文件名

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

将这四个文件放入目录/opt/cloudera/parcel-repo下(数据包目录)

cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha /opt/cloudera/parcel-repo/
cp CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256 /opt/cloudera/parcel-repo/
# 覆盖manifest.json (yes)
cp manifest.json /opt/cloudera/parcel-repo/

操作示例:

(7)添加cloudera-scm-server与cloudera-scm-agent的java_home 配置jdk

#下载jdk
yum install java-1.8.0-openjdk-devel
# 修改配置server的jdk,如果使用yum安装,可以不用修改
# vim /etc/default/cloudera-scm-server
# 修改配置agent的jdk,如果使用yum安装,可以不用修改
# vim /etc/default/cloudera-scm-agent

开启主节点CM Server

systemctl start cloudera-scm-server

修改agent配置信息,指定 CM Server的连接地址

vi /etc/cloudera-scm-agent/config.ini

查看日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

访问页面

localhost:7180

默认用户名 admin 默认密码 admin

开启所有CM agent

systemctl start cloudera-scm-agent

查看日志

tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

目录解释配置环境变量可以使用 /opt/cloudera/parcels/ 目录

/var/log/cloudera-scm-installer : 安装日志目录
/var/log/* : 相关日志文件（相关服务的及CM的）
/usr/share/cmf/ : 程序安装目录
/usr/lib64/cmf/ : Agent程序代码
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录
/usr/bin/postgres : 内嵌数据库程序
/etc/cloudera-scm-agent/ : agent的配置目录
/etc/cloudera-scm-server/ : server的配置目录。
/opt/cloudera/parcels/ : Hadoop相关服务安装目录
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据
/etc/hadoop/* : 客户端配置文件目录

代码段小部件

免费版CDH环境搭建(附带免费下载地址)相关推荐

mfc140u.dll文件缺失解决-＞应用程序无法正常启动（0xc000007b）解决方法附带免费下载mfc140u.dll地址
一.问题:由于找不到mfc140u.dll,无法继续执行代码.重新安装程序可能会解决此问题. 在重新安装,并且将VC++的2019.2010.2008库都安装完毕后还是提醒缺失mfc140u.dll的 ...
Unity3D引擎各大插件免费下载地址
Unity3D引擎作为当前最主流的3D游戏引擎之一,拥有大量第三方插件和工具.以下为各大Unity3D引擎各大插件免费下载地址,还有一些热门插件例如:Playmaker . UnIDE .Tile B ...
卫星影像免费下载地址
卫星影像免费下载地址遥感资源网址各种卫星数据 http://gcmd.gsfc.nasa.gov/ CEOS Meteosat http://www.crs4.it/~luigi/METEO ...
国际著名标准化组织及ISO/IEC/ASTM/IEEE等国际标准免费下载地址
在知识经济时代,标准已被称作世界的通用语言.你看不懂语言没关系,但是一个标准的图形符号,你就能看明白,很快能GET到你需要的信息.在没有标准的世界,不仅人与人之间难以沟通,机器.零部件以及产品之间的联 ...
2019年二级造价工程师讲义视频课件免费下载地址
今年准备考造价证书的在职朋友们非常幸运,多了一种选择,由于改革而新增的一种造价考试形式,也就是二级造价工程师考试,它在某些方面有别于一级造价,对于报考人员来说,最重要的是考试难度更低一些.不过,每位造 ...
银光类似web visio的节点连线控件Essential Diagram免费下载地址
2019独角兽企业重金招聘Python工程师标准>>> Essential Diagram for Silverlight是一款功能强大的图解拓扑图控件,在XAML支持的情况下提供用 ...
网页版电子表格控件tmlxSpreadsheet免费下载地址
tmlxSpreadsheet 是一个由JavaScript 和 PHP 写成的电子表格控件(包含WP插件, Joomla插件等等).. 程序员可以容易的添加一个类似Excel功能的,可编辑的表格功能 ...
base.apk软件下载免费_PS软件各版本免费下载地址
你好,我是谢振! 直接电脑里访问以下网址: 这里我汇聚了PSCS6.PSCC.PSCC2015.PSCC2018.PSCC2019.PSCC2020版本,以及你PS安装过程中可能导致失败的所有问题. ...
网络营销视频教程(29种营销方法)-免费下载地址整理
网络营销视频教程(29种营销方法)-免费下载地址整理一．2015年,这些商业趋势你必须重视 1.1.去中心化.社区化.碎片化.智能化.宅生活.短购物,是未来商务生活的主调未来的商务购买行为可以通过 ...

免费版CDH环境搭建(附带免费下载地址)

免费版CDH环境搭建(附带免费下载地址)相关推荐

最新文章

热门文章