Hadoop各个组件与端口
组件 | Daemon | 端口 | 配置 | 说明 |
HDFS | DataNode | 50010 | dfs.datanode.address | datanode服务端口,用于数据传输 |
HDFS | DataNode | 50075 | dfs.datanode.http.address | http服务的端口 |
HDFS | DataNode | 50475 | dfs.datanode.https.address | https服务的端口 |
HDFS | DataNode | 50020 | dfs.datanode.ipc.address | ipc服务的端口 |
HDFS | NameNode | 50070 | dfs.namenode.http-address | http服务的端口 |
HDFS | NameNode | 50470 | dfs.namenode.https-address | https服务的端口 |
HDFS | NameNode | 8020 | fs.defaultFS | 接收Client连接的RPC端口,用于获取文件系统metadata信息。 |
HDFS | journalnode | 8485 | dfs.journalnode.rpc-address | RPC服务 |
HDFS | journalnode | 8480 | dfs.journalnode.http-address | HTTP服务 |
HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | ZooKeeper FailoverController,用于NN HA |
YARN | ResourceManager | 8032 | yarn.resourcemanager.address | RM的applications manager(ASM)端口 |
YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | scheduler组件的IPC端口 |
YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | IPC |
YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | IPC |
YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | http服务端口 |
YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | localizer IPC |
YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | http服务端口 |
YARN | NodeManager | 8041 | yarn.nodemanager.address | NM中container manager的端口 |
YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | IPC |
YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | http服务端口 |
HBase | Master | 60000 | hbase.master.port | IPC |
HBase | Master | 60010 | hbase.master.info.port | http服务端口 |
HBase | RegionServer | 60020 | hbase.regionserver.port | IPC |
HBase | RegionServer | 60030 | hbase.regionserver.info.port | http服务端口 |
Hive | Metastore | 9083 | /etc/default/hive-metastore中export PORT=来更新默认端口 | |
Hive | HiveServer | 10000 | /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=来更新默认端口 | |
Kerberos | Kadmin | 749 | ||
Kerberos | KDC | 88 | ||
ZooKeeper | Server | 2181 | /etc/zookeeper/conf/zoo.cfg中clientPort= | 对客户端提供服务的端口 |
ZooKeeper | Server | 2888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 | follower用来连接到leader,只在leader上监听该端口。 |
ZooKeeper | Server | 3888 | /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分 | 用于leader选举的。只在electionAlg是1,2或3(默认)时需要。 |
转载于:https://www.cnblogs.com/imzye/p/8124478.html
Hadoop各个组件与端口相关推荐
- Hadoop大数据平台实践(二):Hadoop生态组件的学习文档
Hadoop基础组件学习-Yzg-2019-03-06 Hadoop基础组件学习文档.. 1 简介.. 4 HDFS. 5 HDFS读文件.. 6 HDFS写文件.. 7 Mapreduce 8 单词 ...
- Hadoop平台组件部署
Hadoop平台组件部署 目录 引言 5 1.1. 目的 5 1.2. 术语与缩写解释 6 1.3. 参考资料 6 系统配置 6 2.1. 运行环境 6 2.2. 硬件配置 7 2.3. 硬件安排 7 ...
- 为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ?
为什么 Cloudera 要创建 Hadoop 安全组件 Sentry ? 1. 大数据的安全体系 要说清楚这个问题,还得从大数据平台安全体系的四个层次说起:外围安全.数据安全.访问安全以及访问行为 ...
- hadoop常用命令和端口说明
一.常用命令 查看版本信息 hadoop version 查看HDFS下面包含的文件目录 hdfs dfs -ls / HDFS中创建一个文件目录input hdfs dfs -mkdir /inpu ...
- hadoop常用命令及端口
集群单点启动 逐一启动各个结点 1.在hadoop101上启动NameNode 要在hadoop目录下执行 [root@hadoop101 hadoop-2.7.2]$ sbin/hadoop-dae ...
- 《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊
目录 Hadoop部署 部署组件 一.VMware部署安装 二.Ubuntu18.04.5版本的部署安装 三.安装VMware Tools 四.配置ssh免密登陆 五.Java环境安装 Hadoo ...
- hadoop无法访问50070端口怎么办?
转载请注明出处:www.oldboyedu.com Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情 ...
- Hadoop生态组件-HIVE学习
本文将Hadoop生态圈中的一个重要组件Hive.内容包括安装,运行测试,使用MySQL存储Hive的matedata, 还包括其他使用Hive的知识,比如数据分区等.本文是本人学习Hive过程中的记 ...
- Hadoop四大组件
common.HDFS.MapReduce.YARN common: HDFS:(Hadoop Distributed File System):分布式文件系统. a.文件系统:文件管理+block块 ...
最新文章
- 深入剖析 RocketMQ 源码 - 消息存储模块
- 如何用#define宏定义多行函数
- [转载] 计算机网络——OSI模型究竟忽悠了多少人
- 深度学习 用户画像_用户画像架构方案(持续更新)
- Android中shape的解析
- Minimum grid
- 荣耀鸿蒙价格,荣耀40S秀肌肉,120Hz+双5000万+鸿蒙系统,售价很感人
- Linux:ps命令以及进程状态详解
- 从拿到班车手册.xls到搜索附近班车地点
- 常用电源芯片特性大集合
- Python+OpenGL切分图形窗口在多视区中显示不同动画
- 2021年品牌CDP与营销数字化转型报告:从自建数据资产到消费者深度运营
- java batik_batik详解1
- 计算机主机号是什么意思,在一台计算机的IP地址中,网络号和主机号指的是什么?...
- Python基础概要(一天快速入门)
- GO+Selenium批量关注各大网站实战 1 (基础+demo)
- 小程序-----小白入门
- Scrapy报错之:Request object has no attribute dont_filter
- 云服务器本质是虚拟机,云服务器本质是虚拟机
- (二十七)论文阅读 | 目标检测之MAL
热门文章
- mysql中sysdate函数转字符串_【转】MySQL:日期函数、时间函数总结(MySQL 5.X)
- 转载:什么是良好的Verilog代码风格?(作者KellenWang)
- GDAL使用插件方式编译HDF4、HDF5以及NetCDF的bug修改
- arcgis图层叠加不匹配
- Fission:基于 Kubernetes 的 Serverless 函数框架
- [ANE for Android]Java接口部分引用第三方JAR的解决办法
- 八款开源Android 游戏引擎介绍
- 图像识别-百度AI开放平台
- java argv_argv的编码是什么?
- 区块链会计案例_区块链在会计领域的应用分析与研究