虚拟机搭建Hadoop教程（惨痛经历）

目录
- 1. JDK环境
- 2. 防火墙和SELinux关闭
- 3. ssh免密登录配置（多台服务器一样的配置）
- - 3.1 设置主机名
  - 3.2 配置hosts
  - 3.3 配置sshd
  - 3.4 配置密钥
  - - 3.4.1 创建免密账户
    - 3.4.1 生成公私钥（root和新账户都需要）
- 4. Hadoop配置
- - 4.1 配置文件配置
  - 4.2 环境变量配置
- 5. 问题集锦
- - 5.1 ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT（start-all.sh）
  - 5.2 Cannot execute /home/hadoop/hadoop/libexec/hadoop-config.sh.
  - - 需要多注意一下报错的内容是什么，多注意发现一下报错的是不是配置文件的某个配置写错了，细心尝试，多查问题，总会有结果
- 6. 思考

<configuration><property><name>dfs.reolication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>

配置core-site.xml文件，命令如下：

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property>
</configuration>

配置hadoop-env.sh文件，命令如下：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64
export HADOOP_HOME=/usr/local/hadoop-3.2.1

配置mapred-site.xml文件，命令如下：

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

配置yarn-site.xml文件，命令如下：

<configuration><property><name>yarn.nodemanager.aus-services</name><value>mapreduce_shuffle</value></property>
</configuration>

最后执行命令进行格式化：

hadoop namenode -format

4.2 环境变量配置

输出命令：

vim /etc/profile

然后进行如下配置：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.el7_8.x86_64
export HADOOP_HOME=/usr/local/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后输入命令使配置生效：

source /etc/profile

最后到Hadoop的sbin目录下，执行start-all.sh即可（执行这个则一次将其他sh一起启动了）：

./start-all.sh

然后执行以下jps,查看是不是都启动了：

jps

查看yarn集群界面访问 localhost:8088

5. 问题集锦

5.1 ATTEMPTING TO OPERATE ON HDFS NAMENODE AS ROOT（start-all.sh）

解决方法：
需要在start-dfs.sh、stop-dfs.sh、start-yarn.sh和stop-yarn.sh这四个文件中新增配置：
start-dfs.sh和stop-dfs.sh文件：

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh和stop-yarn.sh文件：

YARN_RESOURCEMANAGER_USER=root
YARN_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

5.2 Cannot execute /home/hadoop/hadoop/libexec/hadoop-config.sh.

解决方法：
删除/etc/profile中的HADOOP_HOME全局变量，然后执行命令：

source /etc/profile

最后在 ~/.bashrc最后一行添加unset HADOOP_HOME：

vim ~/.bashrc

unset HADOOP_HOME

需要多注意一下报错的内容是什么，多注意发现一下报错的是不是配置文件的某个配置写错了，细心尝试，多查问题，总会有结果

6. 思考

这是自己写的第一篇博客，因为呢觉得自己要是不记录下点什么，好像果断时间又忘了，又要去各种查资料，就会很浪费时间（主要是会鄙视自己很废物），虽然知道自己不是很喜欢这碗饭，但是呢，生活总要继续下去，也可以以这种方式来让这碗饭慢慢的变成自己的兴趣饭。哈哈，不知道未来的自己是什么样的，只要不断地在进步就行了，只要进步，未来的自己就会变得越来越好啦。嘻嘻