每次用到Hadoop集群时NameNode总有各种各样奇奇怪怪的问题启动不了或者hdfs用9870端口访问不了!!!

以前写过一篇Hadoop集群缺少node结点,一下↓ 是对NameNode结点一些常见问题

目录

NameNode启动不了

HDFS可视化网页打不开

Last but not least


NameNode启动不了

  • 111 配置文件错误

 不管你的NameNode在哪个主机上,jpsall就是看不到它的进程

这里用到启动Hadoop集群的脚本:myhadoop.sh start 和查看进程脚本:jpsall (后面会写一篇关于脚本的文章)

先看Hadoop配置文件/opt/module/hadoop-3.1.3/etc/hadoop(每个人可能路径不同),查看这个目录下的core-site.xml 、 yarn-site.xml 、  hdfs-site.xml 、mapred-site.xml  、 workers

仔细阅读配置文件,字母、括号都不要错过!!!!还有works里面的主机名,还要去确认一遍、/etc/hosts 里面的主机映射对不对(比如主机1:172.168.100  hadoop01 ,如果hosts映射错了咋能启动?) 请仔细阅读配置文件!!!!

  • 222  NameNode格式化问题

可能你NameNode起不来,就在网上找教程说格式化,然后格式化一次又一次.....

格式化没有错,但要明白格式化会怎么样

每次格式化以后里面id都会改变,多次操作可能导致NameNode的id的和其他文件里缓存的NameNode的id不一致,就会报错。

解决方法:先把data和logs目录删除,再格式化NameNode之后重启集群

格式化NameNode:

hdfs namenode -format

再重启集群会自动生成新的并且和NameNodeid信息一致的data和logs

tip:是自己的理解,专业名词或者解释有偏差,谅解!

  • 333以上都解决不了问题

学会看看log日志,每个人情况不同,其他问题可能别人没遇到,所以,要学会自己解决问题。

运行时的警告和报错都会记录在logs中,去看对应节点的log,

看到爆红的的地方,翻译一下问题什么意思,---->复制问题百度一下

HDFS可视化网页打不开

  • 444把linux防火墙关一下

查看防火状态

systemctl status firewalldservice  iptables status

关闭防火墙

systemctl stop firewalld.service

关闭开机自启

systemctl disable firewalld.service
  • 555查看访问地址

访问是如果用的是主机名比如hadoop01、或者自己的主机名,前提是你的windows有这个主机名映射,就是说你在windows上访问hadoop01:9870....他不知道hadoop01是谁啊

解决方法:把主机名hadoop改成主机号比如172.168...再访问

如果可以访问就在windows中的hosts里添加你的linux主机映射(把hadoop01 172.168....添加进去)

Last but not least

如果看到现在还是解决不了,请重启电脑、重启linux、重启Hadoop集群、并仔细阅读配置文件!bey~

Hadoop--万恶NameNode各种起不来!!!相关推荐

  1. Hadoop之NameNode和SecondaryNameNode工作机制详解

    Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...

  2. Hadoop切换namenode为active

    hadoop切换namenode为active 进入hadoop/bin目录下 ./yarn rmadmin -transitionToActive --forcemanual rm1 重新启动zkf ...

  3. Hadoop中Namenode单点故障的解决方案

    Hadoop中Namenode单点故障的解决方案 需求: 实现namenode元数据的备份,解决namenode单点宕机导致集群不可用的问题. 方案描述: 当namenode所在服务器宕机的时候,我们 ...

  4. Hadoop启动NameNode报错ERROR Cannot set priority of namenode process 2639

    项目场景: Hadoop启动NameNode报错::ERROR: Cannot set priority of namenode process 问题描述: Hadoop启动NameNode报错ERR ...

  5. Hadoop集群安全性:Hadoop中Namenode单点故障的解决方案及详介AvatarNode

    2019独角兽企业重金招聘Python工程师标准>>> 正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋.本文讨 ...

  6. hadoop中NameNode、DataNode和Client三者之间协作关系及通信方式介绍

    <ignore_js_op> 1)NameNode.DataNode和Client          NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间.集 ...

  7. Hadoop中Namenode单点故障的解决方案及详细介绍

    正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋.本文讨论一下为了解决这个问题而存在的几个solution. 1. Seconda ...

  8. 惭入佳境之HADOOP的NAMENODE不能正常启动的问题解决

    注意到以下错误行不? java.io.FileNotFoundException: /app/hadoop/tmp/dfs/name/current/VERSION (Permission denie ...

  9. 配置Hadoop格式化namenode时报错cannot create directory /usr/local/hadoop/tmp/dfs/name/current

    格式化namenode时,通过以下字句验证是否成功 status 0 为操作成功,status 1为操作失败,往上翻查找错误原因 该错误是由于权限问题导致的 我们通过 sudo su 进入root操作 ...

  10. hadoop中namenode退出安全模式

    为什么NameNode会处于安全模式? 1.NameNode发现集群中DataNode丢失达到一定比例(0.01%)时会进入安全模式,此时只允许查看数据不允许对数据进行任何操作. 2.HDFS集群即使 ...

最新文章

  1. IEEE向华为发出禁令,北大清华学者相继宣布退出IEEE!
  2. 智能车竞赛技术报告 | 专科基础组 - 哈尔滨铁道职业技术学院 - 智能车勇创协会
  3. java调用存储过程 oracle_java调用oracle存储过程
  4. UA OPTI501 电磁波 求解Maxwell方程组的波动方程方法
  5. 《最强蜗牛》运营分析:这个奇葩放置游戏的乐趣在哪里?
  6. 浙大学霸本科生顶会研究!只需20分钟音频,AI就能逼真模仿你的声音
  7. 深入解析Invoke and BeginInvoke, 同步与异步解析
  8. FTP上传失败报错解决
  9. R语言 | 计算基因表达量 TPM R脚本
  10. [转载]走近 Jazzy
  11. LeetCode 300 最长上升子序列
  12. mysql explain type_MySQL explain type详解
  13. GBase 8a MPP Cluster 数据加载参数及语句
  14. 计算机打音乐两只老虎,两只老虎(音乐、汇编程序)
  15. 1000句英文常用语
  16. 罗兰贝格:自动驾驶出租车(Robotaxi)商业化前景展望(附下载)
  17. MedSegDiff
  18. Java、JSP等在线书店
  19. python3字符串与数字转换
  20. 即插即用的PC红外遥控接收器

热门文章

  1. elementui国际化
  2. linux 命令:uname 详解
  3. 【基因图谱(react 版本)】
  4. 区块链技术用解决拜占庭将军问题_什么是拜占庭将军问题
  5. dpdk-16.04 eal lcore 多线程机制分析
  6. Java学习笔记之二:Maven中依赖使用exclusions设置,来解决依赖冲突
  7. GoLang之编译器自动检测类型是否实现接口(5)
  8. python类定义以及调用_python中如何定义和调用类详解
  9. 投影机灯泡知识普及 来自YAHOO!知识堂
  10. 【PageHelper】排查PageHelper分页失效问题