完全分布式的搭建（三台）

1.集群划分？
       hdfs：
           bigdata22 namenode datanode
           bigdata23               datanode
           bigdata24   snn           datanode
       yarn：
           bigdata22                         nodemanager
           bigdata23   resourcemanager           nodemanager
           bigdata24                           nodemanager
   注意：
           snn 机器选择参数
           resourcemanager 机器选择参数
   ssh 免密登录都做
   linux下文件分发
       scp :
           [hadoop@bigdata21 ~]$ scp hadoop@bigdata21:./1.log hadoop@bigdata22:~
       raync

2.ssh 免密登录
       (1)ssh-keygen 【三台机器都要做】
       (2)拷贝公钥【三台机器都要做】
           ssh-copy-id xxx
           ssh-copy-id bigdata22
           ssh-copy-id bigdata23
           ssh-copy-id bigdata24
       (3)验证免密登录

3.部署jdk【三台都要部署】
       (1)先部署一台 =》分发到其他机器
           以bigdata22 为例部署+分发
       (2)文件分发脚本
   #判断参数的个数
   if [ $# -lt 1 ];then
       echo "参数不足"
       exit;
   fi

for host in bigdata22 bigdata23 bigdata24
   do
       #todo 分发文件
       echo "======${host}====="

for file in $@
       do
           #判断文件是否存在
           if [ -e $file ];then

#获取文件父目录
               pdir=$(cd -P $(dirname $file); pwd)
               #获取文件名字
               fname=$(basename $file)

#分发文件
               ssh $host "mkdir -p ${pdir}"
               rsync -av ${pdir}/${fname} $host:${pdir}
           else
               echo "${file} 不存在"
           fi
       done
   done
       (3)分发jdk
           xsync jdk1.8.0_212
       (4)分发软连接
           xsync java
       (5)分发环境变量文件
           xsync ~/.bashrc
       (6)source 环境变量
           source ~/.bashrc

4.部署hadoop
       配置bigdata22：
       (1)解压
       (2)软连接
       (3)环境变量
       (4)配置hdfs
           1)core-site.xml
       <configuration>
           <property>
               <name>fs.defaultFS</name>
               <value>hdfs://bigdata22:9000</value>
           </property>
           <property>
               <name>hadoop.tmp.dir</name>
               <value>/home/hadoop/app-data</value>
           </property>
       </configuration>

2)hdfs-site.xml ：
           <configuration>
               <property>
                   <name>dfs.replication</name>
                   <value>3</value>
               </property>

<property>
                   <name>dfs.namenode.secondary.http-address</name>
                   <value>bigdata24:9868</value>
               </property>

</configuration>
       (5)配置yarn
           1)mapred-site.xml:
           <property>
               <name>mapreduce.framework.name</name>
               <value>yarn</value>
           </property>
           <property>
               <name>mapreduce.application.classpath</name>
               <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
           </property>

2)yarn-site.xml:
       <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
       </property>
       <property>
           <name>yarn.nodemanager.env-whitelist</name>
           <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ,HADOOP_MAPRED_HOME</value>
       </property>

       <property>
           <name>yarn.resourcemanager.hostname</name>
           <value>bigdata23</value>
       </property>

3)hadoop-env.sh \mapred-env.sh\yarn-env.sh
export JAVA_HOME=/home/hadoop/app/java

[hadoop@bigdata22 hadoop]$ cat workers
       bigdata22
       bigdata23
       bigdata24

5.分发文件
22 =》 23 24

(1)hadoop文件夹
(2)软连接
(3)环境变量

6.启动 hdfs
       (1)格式化
           hdfs namenode -format
       (2)启动hdfs
           start-dfs.sh
       (3)查看webui
           http://ip:9870/

7.启动yarn
start-yarn.sh

8.
stop-all.sh => rm 有问题的
start-all.sh

9.集群启动的脚本
if [ $# -lt 1 ];then
echo "参数不足"
echo "Usage $0 start|stop"
exit;
fi

case $1 in
   "start")
   echo "===启动hadoop集群==="
   echo "===启动hdfs==="
   ssh bigdata22 "/home/hadoop/app/hadoop/sbin/start-dfs.sh"
   echo "===启动yarn==="
   ssh bigdata23 "/home/hadoop/app/hadoop/sbin/start-yarn.sh"
   ;;
   "stop")
   echo "===关闭hadoop集群==="
   echo "===关闭yarn==="
   ssh bigdata23 "/home/hadoop/app/hadoop/sbin/stop-yarn.sh"
   echo "===关闭hdfs==="
   ssh bigdata22 "/home/hadoop/app/hadoop/sbin/stop-dfs.sh"
   ;;
   *)
   echo "无效的参数"
   echo "Usage $0 start|stop"
   ;;
esac

10.java进程查看脚本
for host in bigdata22 bigdata23 bigdata24
do
echo "====$host===="
ssh $host "/home/hadoop/app/java/bin/jps | grep -v Jps"
done

11.hdfs api :
java
hdfs 命令

hdfs 命令：
hdfs dfs
hadoop fs

(1)创建文件夹
hadoop fs -mkdir xx

(2)上传
hadoop fs -put xx xxx

(3)下载
hadoop fs -get xxx xx

(4) cat 查看文件内容
   URI =>
       local : file:///
       hdfs : hdfs://
   (5)mv 与cp

   (6)ls

(7)查看文件大小
ls -h
du

(8)删除

(9)查看文件
cat
text

(10)修改文件权限
chmod
chown

[hadoop@bigdata22 data]$ hadoop fs -mv /1.log /2.log
[hadoop@bigdata22 data]$ hadoop fs -cp /2.log /1.log
[hadoop@bigdata22 data]$ hadoop fs -mkdir /data
[hadoop@bigdata22 data]$ hadoop fs -cp /2.log /data/3.log

完全分布式的搭建（三台）相关推荐

2021年大数据环境搭建（二）：分布式环境搭建
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录分布式环境搭建集群规 ...
Hadoop入门基础教程 Hadoop之完全分布式环境搭建
上一篇我们完成了Hadoop伪分布式环境的搭建,伪分布式模式也叫单节点集群模式, NameNode.SecondaryNameNode.DataNode.JobTracker.TaskTracker所 ...
Zookeeper分布式环境搭建
Zookeeper分布式环境搭建一.分布式安装部署 1.前置条件 2.集群规划 3.解压安装 4.配置zoo.cfg文件 5.集群操作二.配置参数解读 1.tickTime 2.initLimit ...
1 Hadoop 3.2.4分布式环境搭建
1 Hadoop 3.2.4分布式环境搭建 1 系统配置 3台centOS虚拟机 # 配置hosts解析 vim /etc/hosts192.168.88.129 hadoop1 192.168.88 ...
Hadoop 分布式环境搭建
1.集群机器: 1台装了 ubuntu 14.04的台式机 1台装了ubuntu 16.04 的笔记本 (机器更多时同样适用) 搭建步骤: 准备工作: 使两台机器处于同一个局域网:相互 ...
Spark环境搭建（一）-----------HDFS分布式文件系统搭建
下载的压缩文件放在~/software/ 解压安装在~/app/ 一:分布式文件系统搭建HDFS 1,下载Hadoop HDFS环境搭建使用版本:hadoop-2.6.0-cdh5.7. ...
Kafka分布式环境搭建
http://my.oschina.net/ielts0909/blog/93190 这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展.单机版的搭建官网上就有,比较容易实 ...
Kafka 分布式环境搭建
这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展.单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来 ...
Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
浅谈分布式架构搭建-理论知识
浅谈分布式架构搭建基础理念技术选型后端技术设计总体架构设计关键案例设计架构师搭建架一般优先考虑的是安全性.稳定性.高吞吐量.哈哈,菜鸟的我让我装个B,回忆一下以前架构搭建基础理念 C ...

完全分布式的搭建（三台）

完全分布式的搭建（三台）相关推荐

最新文章

热门文章