• NameNode切换

Hadoop版本:hadoop-2.6.0-CDH5.5.4

namenode切换需要用到hdfs haadmin 命令,该命令有如下方法:

hdfs haadmin -transitionToActive <serviceId> 将<serviceId>namenode过渡到active状态

当前状态: nn1:standby nn2:active

执行hdfs haadmin -transitionToActive -forcemanual nn1 将nn1过渡为Active状态,

报出以下信息,提示nn2已经为active状态

19/01/11 11:31:01 WARN ha.HAAdmin: Proceeding with manual HA state management even though

automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001

transitionToActive: Node nn2 is already active

Usage: HAAdmin [-transitionToActive <serviceId> [--forceactive]]

再次查看两个namenode状态,两个namenode节点状态并没有变化。

执行hdfs haadmin -transitionToActive -forcemanual nn2 将nn2过渡为Active状态,

报出以下信息:

19/01/11 11:44:04 WARN ha.HAAdmin: Proceeding with manual HA state management even though

automatic failover is enabled for NameNode at e3base03/192.168.1.130:12001

19/01/11 11:44:05 WARN ha.HAAdmin: Proceeding with manual HA state management even though

automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001

没有明显报错,再次查看两个namenode状态,两个namenode节点状态并没有变化。

综合以上情况:当active节点正常时,使用hdfs haadmin -transitionToActive命令对两个namenode节点切换都不起作用.

hdfs haadmin -transitionToStandby <serviceId>

将<serviceId>namenode过渡到standby状态

当前状态: nn1:standby nn2:active

执行hdfs haadmin -transitionToStandby -forcemanual nn1 将nn1过渡到standby状态:

报出以下信息:

19/01/11 13:56:18 WARN ha.HAAdmin: Proceeding with manual HA state management even though

automatic failover is enabled for NameNode at e3base03/192.168.1.130:12001

两个namenode状态并没有变化:

执行hdfs haadmin -transitionToStandby -forcemanual nn2 将nn2过渡到standby状态:

报出以下信息:

19/01/11 14:07:59 WARN ha.HAAdmin: Proceeding with manual HA state management even though

automatic failover is enabled for NameNode at e3base04/192.168.1.131:12001

两个namenode状态发生变化:

综合以上情况:当active节点正常时,执行hdfs haadmin -transitionToStandby命令可以将active的namenode节点转换成standby状态。

hdfs haadmin [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]

在两个namenode节点之间进行故障转移,例:

当前namenode状态: nn1:active nn2:standby

hdfs haadmin -failover -forcefence -forceactive nn1 nn2,表示将nn2设置成active状态。

报出以下信息:

[e3base@e3base03 e3base]$ hdfs haadmin -failover -forcefence -forceactive nn1 nn2

forcefence and forceactive flags not supported with auto-failover enabled.

这句话表示,配置了自动切换之后,就不能进行手动切换了,故此次切换失败。

dfs.ha.automatic-failover.enabled参数需要在hdfs-site.xml或者core-site.xml中添加。

将nn1和nn2调换,执行hdfs haadmin -failover -forcefence -forceactive nn2 nn1,

以及强制手动执行:hdfs haadmin -failover -forcefence -forceactive -forcemanual nn1 nn2

也是同样的结果。

将2台namenode节点中的hdfs-site.xml中的dfs.ha.automatic-failover.enabled参数值改为false后(不需要重启namenode进程),再次执行hdfs haadmin -failover -forcefence -forceactive nn1 nn2,

从日志中可以看到在进行故障转移时,采用了第一个故障转移方法:ssh方法,该方法原理是ssh到出现故障的主机,并将namenode进程kill掉。(第二个为shell方法:运行任何的shell命令去过滤active状态的namenode)

综上:hdfs haadmin [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>]命令在配置故障自动切换(dfs.ha.automatic-failover.enabled=true)之后,无法手动进行。可将该参数更改为false(不需要重启进程)后,重新执行该命令即可。

Hadoop HA——hdfs haadmin 详解相关推荐

  1. hadoop之hdfs命令详解

    目录 一.hadoop命令 1.archive 2.checknative 3.classpath 4.credential 5.distcp(比较常用) 6.fs 7.jar 8.key 9.tra ...

  2. 全方位揭秘!大数据从0到1的完美落地之HDFS块详解

    HDFS块详解 传统型分布式文件系统的缺点 现在想象一下这种情况:有四个文件 0.5TB的file1,1.2TB的file2,50GB的file3,100GB的file4:有7个服务器,每个服务器上有 ...

  3. hadoop作业初始化过程详解(源码分析第三篇)

    (一)概述 我们在上一篇blog已经详细的分析了一个作业从用户输入提交命令到到达JobTracker之前的各个过程.在作业到达JobTracker之后初始化之前,JobTracker会通过submit ...

  4. Hadoop之Shuffle机制详解

    Hadoop之Shuffle机制详解 目录 Shuffle机制 Partition分区 WritableComparable排序 Combiner合并 GroupingComparator分组(辅助排 ...

  5. Hadoop中RPC机制详解之Server端

    2019独角兽企业重金招聘Python工程师标准>>> Hadoop 中 RPC 机制详解之 Client 端 1. Server.Listener RPC Client 端的 RP ...

  6. Hadoop基础-Idea打包详解之手动添加依赖(SequenceFile的压缩编解码器案例)

    Hadoop基础-Idea打包详解之手动添加依赖(SequenceFile的压缩编解码器案例) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.编辑配置文件(pml.xml)(我 ...

  7. sparkstreaming监听hdfs目录如何终止_HDFS—HA高可用详解

    一.HA概述 1)所谓HA(high available),即高可用(7*24小时不中断服务). 2)实现高可用最关键的策略是消除单点故障.HA严格来说应该分成各个组件的HA 机制:HDFS的HA和Y ...

  8. 《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊

    目录 Hadoop部署 部署组件 一.VMware部署安装 二.Ubuntu18.04.5版本的部署安装 ​ 三.安装VMware Tools 四.配置ssh免密登陆 五.Java环境安装 Hadoo ...

  9. Hadoop HA HDFS启动 NameNode启动失败解析

    今天也要努力学习 作者大哥:me2xp  https://www.linuxidc.com/Linux/2016-03/129437.htm 看日志真的很重要!!!!!!!!!! 一.问题描述 HA按 ...

最新文章

  1. android碎片调用动态碎片,Android Training - 使用碎片创建一个动态UI
  2. python基础第二天(day14)
  3. Android应用程序框架
  4. “大院大所”合作对接活动专场推介会侧记
  5. RecyclerView控件实现横向滚动和瀑布流布局,以及RecyclerView的点击监听(项目已上传GitHub)
  6. SpringBoot 后台管理系统
  7. 趣味图解编程算法,文科生都看懂了
  8. java中的数据结构总结
  9. 阿里微服务专家自己手写Spring Boot 实现一个简单的自动配置模块
  10. 版本1.8.1Go安装以及语法高亮配置
  11. 基于Redis的微博的注册
  12. OC省字典的数组摘要集
  13. [转]请不要和陌生女人说话
  14. 【算法/C语言】01背包问题(动态规划DP)
  15. 5000头奶牛的数字化之旅
  16. vscode配置和快捷键
  17. 单片机——A/D数模转换篇
  18. 某音最近很火的挤地铁游戏直播技术:挤地铁直播+源码+软件下载+视频教程下载-亲测可用
  19. 借助资本的力量,雷军仅花10年时间成为中国第九大富豪
  20. 页面置换算法(FIFO、第二次机会、LRU)

热门文章

  1. OpenGL - Draw Triangle
  2. linux下编译glew,在linux上用glew static lib mingw-w64连接
  3. android麦克风被占用,华为EMUI9录制适配麦克风被自己占用导致无法使用的解决方案...
  4. 那年声明理解不了定义与初始化(三)
  5. Kotlin修炼指南(三)——奇技淫巧
  6. 恢复生产,激活企业,用招商引资重振经济发展 ——疫情后经济如何复兴专访陈宗建秘书长
  7. 理解Python的协程(Coroutine)
  8. HTML 统一资源定位器(Uniform Resource Locators)简介
  9. 服务器常用端口号及作用
  10. 多元高斯分布异常检测代码_数据科学 | 异常检测的N种方法,阿里工程师都盘出来了...