Hadoop的配置大全
2024-06-04 08:26:36
ssh 免密配置
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 或者
（ssh-copy-id 用户名@ip）
环境配置
export HADOOP_HOME=(hadoop路径)
export PATH=$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
export JAVA_HOME=(java路径)
export PATH=$JAVA_HOME/bin:$PATHHA 配置
hadoop-env.sh
export JAVA_HOME=PATH(jdk路径)core-site.xml
<property><!--HDFS 的 nameservices为mycluster--><name>fs.defaultFS</name><value>hdfs://mycluster</value>
</property>
<property><!--指定hadoop临时目录--><name>hadoop.tmp.dir</name><value>/usr/local/src/HDFS/tmpdata</value>
</property>
<property><!--指定zookeeper的地址--><name>ha.zookeeper.quorum</name><value>master:2181,slave1:2181,slave2:2181</value>
</property>hdfs-site.xml
<property><name>dfs.replication</name><value>1</value>
</property>
<property><!--指定HDFS的nameservices mycluster,需要和core-site.xml中的一致--><name>dfs.nameservices</name><value>mycluster</value>
</property>
<property><!--mycluster下面有两个NameNode，分别是 nn1, nn2--><name>dfs.ha.namenodes.mycluster</name><value>nn1,nn2</value>
</property>
<property><!--rpc通信--><name>dfs.namenode.rpc-address.mycluster.nn1</name><value>master:9000</value>
</property>
<property><!--http通信--><name>dfs.namenode.http-address.mycluster.nn1</name><value>master:50070</value>
</property>
<property><!--rpc通信--><name>dfs.namenode.rpc-address.mycluster.nn2</name><value>slave1:9000</value>
</property>
<property><!--http通信--><name>dfs.namenode.http-address.mycluster.nn2</name><value>slave1:50070</value>
</property>
<property><!--指定NameNode的元数据在JournalNode的存放位置--><name>dfs.namenode.shared.edits.dir</name><value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<property><!--指定JournalNode在本地磁盘存放数据位置--><name>dfs.journalnode.edits.dir</name><value>/usr/local/src/HDFS/journaldata</value>
</property>
<property><!--开启NameNode失败自动切换--><name>dfs.ha.automatic-failover.enabled</name><value>true</value>
</property>
<property><!--配置失败自动切换实现方式--><name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property><!--配置隔离机制--><name>dfs.ha.fencing.methods</name><value>sshfence</value>
</property>
<property><!--使用sshfence隔离机制时需要ssh免蜜登录--><name>dfs.ha.fencing.private-key-files</name><value>/root/.ssh/id_rsa</value>
</property>
<property><!--设置sshfence隔离机制超时时间--><name>dfs.ha.fencing.ssh.connect-timeout</name><value>30000</value>
</property>
yarn.site.xml
<property><!--开始ResourceManager高可用--><name>yarn.resourcemanager.ha.enabled</name><value>true</value>
</property>
<property><!--指定ResourceManager的名字--><name>yarn.resourcemanager.cluster-id</name><value>yrc</value>
</property>
<property><!--分别指定ResourceManager的地址--><name>yarn.resourcemanager.ha.rm-ids</name><value>rm1,rm2</value>
</property>
<property><name>yarn.resourcemanager.hostname.rm1</name><value>master</value>
</property>
<property><name>yarn.resourcemanager.hostname.rm2</name><value>slave1</value>
</property>
<property><!--指定Zookeeper集群地址--><name>yarn.resourcemanager.zk-address</name><value>master:2181,slave1:2181,slave2:2181</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>mapreduce-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>slaves /worker
master
slave1
slave2完全分布模式
hadoop-env.sh
export JAVA_HOME=PATH(jdk路径)core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://master:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/usr/local/src/HDFS/tmpdata</value>
</property>hdfs-site.xml
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>slave1:9868</value>
</property>
yarn.site.xml
<property><name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>mapreduce-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>worker
master
slave1
slave2伪分布
hadoop-env.sh
export JAVA_HOME=PATH(jdk路径)core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://master:9000</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/usr/local/src/HDFS/tmpdata</value>
</property>hdfs-site.xml
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>master:9868</value>
</property>
yarn.site.xml
<property><name>yarn.resourcemanager.hostname</name><value>master</value>
</property>
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>mapreduce-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>作者：Deere.x
本文仅用于交流学习，未经作者允许，禁止转载，更勿做其他用途，违者必究。
文章对你有所帮助的话，欢迎给个赞或者 star ，你的支持是对作者最大的鼓励，不足之处可以在评论区多多指正，交流学习
Hadoop的配置大全相关推荐
- Spark性能调优系列：Spark参数配置大全（官网资料）
Spark参数配置大全 Spark提供了三个位置来配置系统 Spark属性控制大多数应用程序参数,可以使用SparkConf对象或Java系统属性来设置. 通过conf/spark-env.sh每个节 ...
- ASA LAB-ASA NAT配置大全
ASA LAB-ASA NAT配置大全 两种NAT配置方式 : 1- Auto(object)NAT 2- Twice NAT NAT分类 : Static nat Dynamic nat Stati ...
- 5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）
1.Hadoop的配置 独立模式.伪分布式.完全分布式 2.安装完之后就已经是独立模式了. (1)在独立模式之下是没有守护进程的,可以输入命令 jps 会发现只有一个Jps,没有其他守护进程. ( ...
- redis配置_Redis配置大全（三）
" 点击关注Coding小暮,获取更多优质内容哦" Redis配置文件的讲解,今天将会全部讲完.先来个前文回顾: 吐血整理Redis配置大全(一) Redis配置大全(二) 本篇内 ...
- hadoop单机配置(非分布式)
1.1 环境 使用deepin系统.Hadoop3.1.3和Java环境jdk-8u162-linux-x64.tar.gz. https://pan.baidu.com/s/1K1U1dypbgJe ...
- Hadoop用户配置免密登陆
Hadoop用户配置免密登陆, 参考其他免密配置方法自己总结的更简洁的步骤. 要实现A免密登陆B,需要把A生成的公钥放到B的对应目录下, 要实现ABC之间免密登陆,把3者的公钥汇总到一个文件中, 然后 ...
- hadoop服务器系统设置win10,win10系统hadoop安装配置的设置技巧
win10系统使用久了,好多网友反馈说关于对win10系统hadoop安装配置设置的方法,在使用win10系统的过程中经常不知道如何去对win10系统hadoop安装配置进行设置,有什么好的办法去设置 ...
- 智能会议系统（16）---Linphone配置大全
Linphone配置大全 1. 自动接听电话: non_localizable_custom.xml <bool name="auto_answer_calls">fa ...
- Hadoop基础-配置历史服务器
Hadoop基础-配置历史服务器 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比 ...
最新文章
- noip2019集训测试赛（五）
- 当你再面对大多数需求时能够说这些问题我以前做过，那你就。。。
- Python语法糖——遍历列表时删除元素
- 用IntelliJ IDEA 配置安卓(Android)开发环境（一条龙服务，新手进！）
- img 错误样式css,css设置图片大小_css 控制img图片的大小样式
- Kafka2.12安装与配置/生产与消费
- elastic-job动态任务配置
- 10折交叉验证（10-fold Cross Validation）与留一法（Leave-One-Out）、分层采样（Stratification）
- MVC3中输出Html标签的方法
- bootstrap-table 表格加载中....处理
- 【气动学】基于matlab GPS卫星仿真【含Matlab源码 1094期】
- gulp编译html中的less,使用插件less-plugin-functions让gulp-less支持自定义函数
- c语言图书管理系统课设报告总结,c语言图书管理系统课设报告.docx
- 鸟哥私房菜linux就该这么学-学习记录
- Android Hook框架adbi的分析(3)---编译和inline Hook实践
- kodi资源_Kodi——支持全平台的看片神器
- 手机浏览网页或打开app时莫名弹出支付宝领红包界面的原因及预防措施
- Qt6 QML Book/图形效果/粒子群组
- 使用VUE做的个人简历
- C#在一个form中改变另一个form中控件的内容、C#做登录界面并且密码显示为*