Hadoop HA——hdfs haadmin 详解
NameNode切换
Hadoop版本:hadoop-2.6.0-CDH5.5.4
namenode切换需要用到hdfs haadmin 命令,该命令有如下方法:
hdfs haadmin -transitionToActive <serviceId> 将<serviceId>namenode过渡到active状态
当前状态: nn1:standby nn2:active
执行hdfs haadmin -transitionToActive -forcemanual nn1 将nn1过渡为Active状态,
报出以下信息,提示nn2已经为active状态
19/01/11 11:31:01 WARN ha.HAAdmin: Proceeding with manual HA state management even though
automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001
transitionToActive: Node nn2 is already active
Usage: HAAdmin [-transitionToActive <serviceId> [--forceactive]]
再次查看两个namenode状态,两个namenode节点状态并没有变化。
执行hdfs haadmin -transitionToActive -forcemanual nn2 将nn2过渡为Active状态,
报出以下信息:
19/01/11 11:44:04 WARN ha.HAAdmin: Proceeding with manual HA state management even though
automatic failover is enabled for NameNode at e3base03/192.168.1.130:12001
19/01/11 11:44:05 WARN ha.HAAdmin: Proceeding with manual HA state management even though
automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001
没有明显报错,再次查看两个namenode状态,两个namenode节点状态并没有变化。
综合以上情况:当active节点正常时,使用hdfs haadmin -transitionToActive命令对两个namenode节点切换都不起作用.
hdfs haadmin -transitionToStandby <serviceId>
将<serviceId>namenode过渡到standby状态
当前状态: nn1:standby nn2:active
执行hdfs haadmin -transitionToStandby -forcemanual nn1 将nn1过渡到standby状态:
报出以下信息:
19/01/11 13:56:18 WARN ha.HAAdmin: Proceeding with manual HA state management even though
automatic failover is enabled for NameNode at e3base03/192.168.1.130:12001
两个namenode状态并没有变化:
执行hdfs haadmin -transitionToStandby -forcemanual nn2 将nn2过渡到standby状态:
报出以下信息:
19/01/11 14:07:59 WARN ha.HAAdmin: Proceeding with manual HA state management even though
automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001
两个namenode状态发生变化:
综合以上情况:当active节点正常时,执行hdfs haadmin -transitionToStandby命令可以将active的namenode节点转换成standby状态。
hdfs haadmin [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]
在两个namenode节点之间进行故障转移,例:
当前namenode状态: nn1:active nn2:standby
hdfs haadmin -failover -forcefence -forceactive nn1 nn2,表示将nn2设置成active状态。
报出以下信息:
[e3base@e3base03 e3base]$ hdfs haadmin -failover -forcefence -forceactive nn1 nn2
forcefence and forceactive flags not supported with auto-failover enabled.
这句话表示,配置了自动切换之后,就不能进行手动切换了,故此次切换失败。
dfs.ha.automatic-failover.enabled参数需要在hdfs-site.xml或者core-site.xml中添加。
将nn1和nn2调换,执行hdfs haadmin -failover -forcefence -forceactive nn2 nn1,
以及强制手动执行:hdfs haadmin -failover -forcefence -forceactive -forcemanual nn1 nn2
也是同样的结果。
将2台namenode节点中的hdfs-site.xml中的dfs.ha.automatic-failover.enabled参数值改为false后(不需要重启namenode进程),再次执行hdfs haadmin -failover -forcefence -forceactive nn1 nn2,
从日志中可以看到在进行故障转移时,采用了第一个故障转移方法:ssh方法,该方法原理是ssh到出现故障的主机,并将namenode进程kill掉。(第二个为shell方法:运行任何的shell命令去过滤active状态的namenode)
综上:hdfs haadmin [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]命令在配置故障自动切换(dfs.ha.automatic-failover.enabled=true)之后,无法手动进行。可将该参数更改为false(不需要重启进程)后,重新执行该命令即可。
Hadoop HA——hdfs haadmin 详解相关推荐
- hadoop之hdfs命令详解
目录 一.hadoop命令 1.archive 2.checknative 3.classpath 4.credential 5.distcp(比较常用) 6.fs 7.jar 8.key 9.tra ...
- 全方位揭秘!大数据从0到1的完美落地之HDFS块详解
HDFS块详解 传统型分布式文件系统的缺点 现在想象一下这种情况:有四个文件 0.5TB的file1,1.2TB的file2,50GB的file3,100GB的file4:有7个服务器,每个服务器上有 ...
- hadoop作业初始化过程详解(源码分析第三篇)
(一)概述 我们在上一篇blog已经详细的分析了一个作业从用户输入提交命令到到达JobTracker之前的各个过程.在作业到达JobTracker之后初始化之前,JobTracker会通过submit ...
- Hadoop之Shuffle机制详解
Hadoop之Shuffle机制详解 目录 Shuffle机制 Partition分区 WritableComparable排序 Combiner合并 GroupingComparator分组(辅助排 ...
- Hadoop中RPC机制详解之Server端
2019独角兽企业重金招聘Python工程师标准>>> Hadoop 中 RPC 机制详解之 Client 端 1. Server.Listener RPC Client 端的 RP ...
- Hadoop基础-Idea打包详解之手动添加依赖(SequenceFile的压缩编解码器案例)
Hadoop基础-Idea打包详解之手动添加依赖(SequenceFile的压缩编解码器案例) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.编辑配置文件(pml.xml)(我 ...
- sparkstreaming监听hdfs目录如何终止_HDFS—HA高可用详解
一.HA概述 1)所谓HA(high available),即高可用(7*24小时不中断服务). 2)实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA 机制:HDFS的HA和Y ...
- 《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊
目录 Hadoop部署 部署组件 一.VMware部署安装 二.Ubuntu18.04.5版本的部署安装 三.安装VMware Tools 四.配置ssh免密登陆 五.Java环境安装 Hadoo ...
- Hadoop HA HDFS启动 NameNode启动失败解析
今天也要努力学习 作者大哥:me2xp https://www.linuxidc.com/Linux/2016-03/129437.htm 看日志真的很重要!!!!!!!!!! 一.问题描述 HA按 ...
最新文章
- android碎片调用动态碎片,Android Training - 使用碎片创建一个动态UI
- python基础第二天(day14)
- Android应用程序框架
- “大院大所”合作对接活动专场推介会侧记
- RecyclerView控件实现横向滚动和瀑布流布局,以及RecyclerView的点击监听(项目已上传GitHub)
- SpringBoot 后台管理系统
- 趣味图解编程算法,文科生都看懂了
- java中的数据结构总结
- 阿里微服务专家自己手写Spring Boot 实现一个简单的自动配置模块
- 版本1.8.1Go安装以及语法高亮配置
- 基于Redis的微博的注册
- OC省字典的数组摘要集
- [转]请不要和陌生女人说话
- 【算法/C语言】01背包问题(动态规划DP)
- 5000头奶牛的数字化之旅
- vscode配置和快捷键
- 单片机——A/D数模转换篇
- 某音最近很火的挤地铁游戏直播技术:挤地铁直播+源码+软件下载+视频教程下载-亲测可用
- 借助资本的力量,雷军仅花10年时间成为中国第九大富豪
- 页面置换算法(FIFO、第二次机会、LRU)
热门文章
- OpenGL - Draw Triangle
- linux下编译glew,在linux上用glew static lib mingw-w64连接
- android麦克风被占用,华为EMUI9录制适配麦克风被自己占用导致无法使用的解决方案...
- 那年声明理解不了定义与初始化(三)
- Kotlin修炼指南(三)——奇技淫巧
- 恢复生产,激活企业,用招商引资重振经济发展 ——疫情后经济如何复兴专访陈宗建秘书长
- 理解Python的协程(Coroutine)
- HTML 统一资源定位器(Uniform Resource Locators)简介
- 服务器常用端口号及作用
- 多元高斯分布异常检测代码_数据科学 | 异常检测的N种方法,阿里工程师都盘出来了...