CDH 使用 CM下线节点

本文档为cdh集群，下线/上线节点操作文档。

CM 集群下线节点，主要参考官方文档：

操作前调优文档： https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_decomm_host.html#concept_urw_wyw_cy
操作文档：https://docs.cloudera.com/documentation/enterprise/6/latest/topics/cm_mc_host_maint.html#cm_mc_host_maint

具体步骤如下：

开始下线前的自检

# 自检 hdfs 文件是否有损坏
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations
# 如果文件有损坏，需要进行修复
hdfs fsck file_name -move

选择需要下线的主机，开始下线。为了避免下线过程中出现数据丢失的风险，一次下线的主机数量要小于 hdfs block 的副本数量。
选择迁移时是否要同步迁移数据，一般时要选择同步迁移数据。然后开始下线节点
接着会显示节点下线的进度。同时在NameNode web ui 上会显示 hdfs block 文件向其他节点的同步进度（主要看 Number of Under-Replicated Blocks）。
在 NameNode Summary 页面，可以看到正在下线的节点数量和待迁移的 hdfs block 数量。
下线结束后，可以去集群后台使用命令查看各个节点在迁移后的磁盘使用率
```
hdfs dfsadmin -report
```

在下线过程中，可能存在以下情况：

参数调优时，设置参数过大，同步速度快但是集群负载高，导致失败；
网络波动导致 NameNode 主备切换，web界面显示下线过程结束了，但后台还在进行；
这时会出现block还未迁移完的情况（Under-replicated blocks显示不为0），可以等hdfs自动修复(推荐)，也可以手动修复（速度也很慢）。
手动修复执行脚本如下：
```
hdfs fsck / | grep 'Under replicated' | awk -F':' '{print $1}' >> /tmp/under_replicated_files
然后循环修复：
for hdfsfile in `cat /tmp/under_replicated_files`; do echo "Fixing $hdfsfile :" ;  hadoop fs -setrep 3 $hdfsfile; done
```

数据迁移完后，开始从CM上删除节点。先进行从集群中删除主机，然后进行Remove Hosts From Cloudera Manager，直接在对应的页面中使用默认选项确定即可，注意Remove Hosts From Cloudera Manager中需要先去下线节点上手动停止cm-agent：systemctl stop cloudera-scm-agent 然后直接点击确定即可，这里貌似也会解除授权角色，自动进行数据迁移到其他节点，但我没有这么操作过。

附录：
hdfs fsck 参数详解：
参数说明：

Total size ： hdfs集群存储大小，不包括复本大小。

Total blocks (validated) : 总共的块数量，不包括复本。

Number of data-nodes ： datanode的节点数量

Number of racks ：机架数量

Default replication factor ：默认的复制因子

Average block replication ：当前块的平均复制数，如果小 default replication factor，则有块丢失

Under-replicated blocks ：正在复制块数量，可采用 hadoop fsck -blocks 解决问题

Mis-replicated blocks ：正复制的缺少复制块的数量

Missing replicas ：缺少复制块的数量，通常情况下Under-replicated blocks\Mis-replicated blocks\Missing replicas 都为0，则集群健康，如果不为0，则缺失块了

Corrupt blocks ：坏块的数量，这个值不为0，则说明当前集群有不可恢复的块，即数据有丢失了

当下架节点时Under-replicated blocks\Mis-replicated blocks\Missing replicas，这三个参数会显示当前，需要补的块的数量，集群会自动补全，当三个参数都为0时，则集群块的复制块完全了。

CDH 使用 CM下线节点相关推荐

ES平滑下线节点操作手册
检查集群配置将节点从集群路由策略中排除等待所有分区与数据迁移完成停掉节点服务进程恢复集群路由策略检查集群配置在做节点下线操作之前,建议先检查 master-eligible 节点的数量与 ...
Elasticsearch 平滑下线节点实践指南
在 Elasticsearch 日常运维中,有时候要对集群的某一个节点进行下线.上线操作,比如增加磁盘,扩展内存,版本升级,或节点回收等.本文就根据近期的一次生产实践,梳理如何实现 Elasticse ...
CDH、CM下载403，Cloudera收费无法下载解决，CDH安装包下载
CDH下载 6.3.2 链接: https://pan.baidu.com/s/1e1LmRY7aHQSCMJq3Lz6DtA 密码: 1vje --来自百度网盘超级会员V6的分享 6.3.1 链接: ...
Cloudera CDH离线安装增加节点到集群
新增一台机器步骤: 设置所有集群的hosts一样,加入新增的机器 vim /etc/sysconfig/network 修改hostnmae为dw.node2 hostname dw.node2 cp ...
CDH 配置CM Server的数据库时错误
根据北京尚学堂视频学习安装,在配置CM Server数据库时执行命令提示错误如下: ./scm_prepare_database.sh mysql temp -h cdh1 -utemp -ptem ...
安装CM 6.3.1和CDH 6.3.2
安装CM 6.3.1和CDH 6.3.2 操作系统要求在安装CDH之前,我们来看看平台对系统有什么样的要求.通过官方文档,我们可以看到有5个方面的要求: 软件依赖 CDH和CM支持的依赖文件系统要 ...
CM/CDH 问题记录
本文档为使用 CDH 6.3.1 时,记录安装过程/使用中出现的一些问题,供后续备查. 从2021年1月31日开始,所有Cloudera软件都需要有效的订阅,并且只能通过付费进行访问.之前的在线安装, ...
CDH安装及使用CM安装集成livy和zepplin
首先转载几位大佬的几篇文章; CDH6.2.0搭建 https://blog.csdn.net/weixin_38201936/article/details/106006335 CDH6.2.0搭建 ...
【Hadoop】节点的上线、下线
本章节主要介绍Hadoop运维管理中节点的上.下线一.下线运维过程中,遇到最多的就是某几个节点磁盘坏掉.磁盘满.机器宕机等情况导致某些任务执行失败,如果只是一个节点故障,并无大碍,因为一般任务有3 ...

CDH 使用 CM下线节点

CDH 使用 CM下线节点相关推荐

最新文章

热门文章