Hadoop 安装

打开xshell连接Linux系统，

1.查看Java版本：Java -version

2.查看mysql：mysql -uroot -proot

//打开mysql

mysql> use mysql

​ Reading table information for completion of table and column names
​ You can turn off this feature to get a quicker startup with -A

​ Database changed

​ //查询user

mysql> select user,host from user where user='root' ;

+------+-----------+
| user | host |
+------+-----------+
| root | % |
| root | 127.0.0.1 |
| root | bigdata |
| root | localhost |
+------+-----------+
5 rows in set (0.00 sec)

​ mysql> Ctrl-C -- exit!
​ Aborted

3.把Hadoop文件拉到opt文件夹下面

查看JAVA_HOME的路径等会要用

4.[root@bigdata opt]# echo $JAVA_HOME

/opt/inst/jdk181

5.解压hadoop-2.6.0-cdh5.14.2.tar.gz

[root@bigdata opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz

6.新建文件夹bigdata

[root@bigdata opt]# mkdir bigdata

//把 hadoop-2.6.0-cdh5.14.2移动到bigdata下面的hadoop260（新建的）

[root@bigdata opt]# mv hadoop-2.6.0-cdh5.14.2 bigdata/hadoop260

6.进入Hadoop准备改配置文件（共5个）

[root@bigdata opt]# cd bigdata/hadoop260/etc/hadoop（这是Hadoop存放文件的路径）

core-site.xml hdfs-site.xml hadoop-env.sh mapred-site.xml yarn-site.xml

（1）配置环境变量里的运行脚本

[root@bigdata hadoop]# vi hadoop-env.sh

export JAVA_HOME=/opt/inst/jdk181

（2）配置核心文件

//进入浏览器Hadoop.apache.org下载Hadoop的地址

[root@bigdata hadoop]# vi core-site.xml

<configuration><property>//想要和环境系统通信就要使用fs.defaultFS地址<name>fs.defaultFS</name>//hdfs协议：//主机名：端口号9000//查看主机名：hostname<value>hdfs://bigdata:9000</value></property><property>//基本的临时目录（记录一些信息）<name>hadoop.tmp.dir</name>//在opt下新建hadoopdata文件夹，这样就不会轻易丢东西了<value>/opt/hadoopdata</value></property><property>//设置Hadoop权限，准备以后安装的软件和Hadoop整合，给root用户身份登录<name>hadoop.proxyuser.root.users</name>//只要是root型用户就可以登录<value>*</value></property><property>//开放权限：只要是root用户组的用户，也可以登录<name>hadoop.proxyuser.root.groups</name><value>*</value></property>
</configuration>

（3）配置文件系统（当前计算机有什么约束？就是准备文件备份几次）

[root@bigdata hadoop]# vi hdfs-site.xml

//一般情况下是三个备份1，本机中 2，同机架中 3，跨另外机架中（电路不一样了）

<configuration><property>//单节点：配置副本数为1    (replication就是副本的意思)<name>dfs.replication</name><value>1</value></property>
</configuration>

（4）配置资源管理文件（计算用的）

//先拷贝mapred

[root@bigdata hadoop]# cp mapred-site.xml.template mapred-site.xml

//编辑mapred

[root@bigdata hadoop]# vi mapred-site.xml

<configuration><property>//计算的时候会调用资源框架，分配任务（mapreduce依赖于yarn（雅恩））<name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

（5）配置yarn框架（就是调度资源的那个）

[root@bigdata hadoop]# vi yarn-site.xml

<configuration><property>//资源管理器（把拿到的文件分配给谁，让谁去写）可以指定ip地址<name>yarn.resourcemanager.localhost</name>//单机版或者伪分布式版可以这样配置<value>localhost</value></property><property>//节点管理器（每隔5分钟给我一个回应（以心跳的方式通知资源管理器））管理的是硬件信息（就                   是发信息的，如：cpu的状态，心跳等等）<name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>

7.将用户配置到环境变量

[root@bigdata hadoop]# vi /etc/profile //配置全局变量

export HADOOP_HOME=/opt/bigdata/hadoop260  //我自己的Hadoop路径
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

进程于主机之间的关系

先激活一下hadoop的配置文件

[root@bigdata hadoop]# source /etc/profile

准备格式化hdfs

[root@bigdata hadoop]# hdfs namenode -format

启动上面的节点（5个）

[root@bigdata hadoop]# start-all.sh

查看后台进程命令：jps

停止进程

[root@bigdata hadoop]# stop-all.sh

//hdfs是正常命令 dfs 是文件目录操作命令 -ls 查看 / 根目录

[root@bigdata hadoop]# hdfs dfs -ls /

//创建一个文件夹

[root@bigdata hadoop]# hdfs dfs -mkdir /cm

[root@bigdata hadoop]# vi /opt/a.txt

[root@bigdata hadoop]# cat /opt/a.txt 查看文件夹

//将虚拟机里面的文件夹考到Hadoop系统里（U盘里）

[root@bigdata hadoop]# hdfs dfs -put /opt/a.txt /cm/

[root@bigdata hadoop]# hdfs dfs -ls /cm 查看一下

启动Hadoop命令：[root@bigdata hadoop]#start-all.sh

【注意!!!】

本机的ResourceManager端口和docker端口是同一个端口：192.168.56.101：8088

下次启动可能还会抢占端口，出现异常关闭dockers服务：[root@bigdata logs]# systemctl stop docker 启动 systemctl start docker

netstat:查看所有的网络数据结构的网络状态（端口号）