Hadoop集群能打开50070端口网页不能打开8088端口网页

最近开始搭建Hadoop集群，一开始很顺利，后面慢慢的一步步爬坑，记录下遇到的问题和解决方法。

在Hadoop 集群启动后，发现直接访问50070端口的网页没有问题，如图(博主这里还做了端口映射，所以看到的端口和实际端口不同)：

但是直接访问8088端口就直接找不到：

经过一步步的排查，记录下排查解决的方法：

中间排查步骤如下：

1. 查看hadoop 启动的进程

因为8088 端口对应的是yarn服务，所以首先看下自己的Hadoop启动的进程有哪些

2. 检查yarn-site.xml配置文件

如果发现resourcemanager服务没有启动，则就代表yarn-site.xml配置文件没有配置好，那么需要检查下面几个地方：

下面解析下yarn-site.xml配置文件中重要查看的东西

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>namenode</value>
</property>
<property>
<description>The address of the applications manager interface in the RM.</description>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<property>
<description>The address of the scheduler interface.</description>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<property>
<description>The http address of the RM web application.</description>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<property>
<description>The https adddress of the RM web application.</description>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<property>
<description>The address of the RM admin interface.</description>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>2048</value>
<discription>8182MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

1.1 第一部分配置的就resourcemanager的hostname，也就是你的namenode机器的Hostname，这里需要按照实际需求，根据你自己的namenode机器的hostname来进行配置，

1.2 第二部分看自己配置的yarn.resourcemanager.webapp.address 这一块，也就是配置的对应的网页地址，是否是使用的yarn.resourcemanager.hostname下的值加上端口号 8088 ，然后查看其余的8033等一系列端口是否都配置好了

3. 检查机器之间是否都可以Ping通

然后配置文件没问题，发现resourcemanager 服务也跑起来了，那么开始检查下各个datanode机器和namenode机器之间是否可以ping通，这里采用ping -c 3 hostname的方式来进行检查

如果机器之间没有ping通，那么去修改对应的 /etc/hosts 文件

检查下ip 和hostname有没有搞错，然后就是防火墙有没有关闭

4. 查看对应端口的情况（一般都是这一步就可以发现问题）

我这里是在外网的情况下可以链接50070的端口，所以对比下50070和8088端口的情况

这一步发现8088端口前面的ip 居然是127.0.0.1，而我们的50070端口号居然是0.0.0.0,所以这一步问题基本就确立了

本人最终才去的方法就是修改namenode机器的/etc/hosts 文件

更改成如下的形式

也就是把localhost 与外网IP对应上

最后再次启动hadoop，查看8088端口，变成外网ip了，然后就可以正常访问了。

Hadoop集群能打开50070端口网页不能打开8088端口网页相关推荐

Hadoop集群安装及其配置（三台虚拟机）
Hadoop集群安装及其配置(三台虚拟机) 利安装配置前准备--安装虚拟机利用cat查看配置文件修改主机名称配置IP映射配置网卡设备的mac地址 Xshell的安装与配置 ssh的配置 JDK ...
Apache Hadoop集群设置示例（带虚拟机）
This Article Is From:https://examples.javacodegeeks.com/enterprise-java/apache-hadoop/apache-hadoop- ...
Hadoop集群的搭建，巨详细的过程,一步步来必成
目录一.注意事项 1.环境背景 2.小小请求二.Hadoop的搭建 1.安装及配置虚拟机 1)配置网络 2)下载远程链接器(可选) (1)下载Xshell (2)Linux虚拟网络 (3)准备连接 ...
基于阿里云服务器搭建hadoop集群：HDFS的namenode WEB访问9870端口打不开解决方法
基于阿里云服务器搭建hadoop集群:HDFS的namenode WEB访问9870端口打不开解决方法以下是基于我所面临问题的解决办法. 1.在本地的c:windows/system32/dirve ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群
JMX_Expoter 监控因为目前CDH以及HDP后续要合并闭源,公司打算花时间自研一个类似的平台,我也对集群监控这块下了点功夫. 监控对于一个集群管理平台,首当其冲的就是其中的监控如何实现 ...
HADOOP集群大数据词频统计及设计比较（完整教程）
###如若发现错误,或代码敲错,望能评论指正!!! 通过百度网盘分享的文件:Hadoop相关需要的软件链接:https://pan.baidu.com/s/1XzDvyhP4_LQzAM1auQCS ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
FreeBSD下安装配置Hadoop集群(三)
先给自己做个广告: 开源Hive管理工具phpHiveAdmin今日更新0.05 beta2 ChangeLog: 1. sql查询页全部重写,复杂查询现在可以用异步非阻塞的方式实时的查看map/re ...

Hadoop集群能打开50070端口网页不能打开8088端口网页

Hadoop集群能打开50070端口网页不能打开8088端口网页相关推荐

最新文章

热门文章