Mac M1搭建hadoop+spark集群教程

最近一直在搞Mac虚拟机，尝试了parallel、vmware、utm，感觉效果都不是很好，踩了了很多很多坑，parallel破解直接劝退我，并且也不是很稳定；wmware for m1刚开始装了一次挺不错的，但是因为我集群磁盘太小扩展磁盘大小的时候，系统就这样崩了，不管最后怎么装都没有用；最后我转战utm，刚开始因为不熟悉utm也踩了很多坑，弃了一段时间，vmware实在装不了了，我又来找utm了【utm yyds 轻便又好用又不花钱（后续发现的问题是容易闪退），推荐mac m1用户使用】。

ps：建议utm只装3台主机，我装了4台会有闪退的问题，之后我delete掉一台目前还没出现闪退的问题。

写在前面：

我的镜像：链接: https://pan.baidu.com/s/1EKf4hX3ODreDnrLp02t8cw 提取码: aek0

utm：链接: https://pan.baidu.com/s/1vj6EB2iq4dlxJqiHK2hoyQ 提取码: 5kd0

utm

镜像下载完，utm直接打开，新建虚拟机，设置一下系统参数。

磁盘大小自己按照需要来，我刚开始搞的20g，根本就不够，我这次扩展到40g

其他没什么要改的了。新建之后打开虚拟机进行安装就行了。

进入到桌面安装教程，按照自己的需要来。

之后会要求你重启，这时候我们点击重新启动。系统直接黑屏了，也没有启动的迹象，这时候，不要慌，咱点击左上角的这个按钮。

关机之后，咱需要把之前导入的镜像删除，不然会一直重复安装ubuntu【这其实跟u盘安装windows一个道理】。

然后再启动虚拟机就可以咯，出现红框下面的就代表成功了哦。

大功告成！在mac m1虚拟机上面花费的时候特别多，一直没有找到合适的，utm目前是最稳定的，完成的教程写在前面，希望我的教程可以节约大家的时间。

集群搭建

集群节点情况：

Master: 50G，其他worker：40G

master:192.168.64.9
worker1:92.168.64.10
worker2:192.168.64.11

所需安装包：

链接: https://pan.baidu.com/s/1_ldD55oaomnNgDPgvXxz9A 提取码: mqia

ps：我这jdk是arm版本的哦，安装的时候注意自己电脑的系统架构，但是如果是m1芯片那就没问题。

安装ssh（所有节点）

sudo apt install openssh-server

测试一下：ssh localhost能通就行。

接下来将所有所需的安装包提前scp给master

scp * lulu@192.168.64.9:~/tools/

绑定ip

修改/etc/hosts，添加master与worker的ip绑定，并且注释127.0.0.1 master（不然会影响集群，或者改成 128.0.0.1）【三台机子都要做】

我在装worker端时hostname已经指定好了，所以不需要再修改hostname计算机名。如果有差异的话修改/etc/hostname。

免密登陆

master端

用rsa生成密钥，一路回车
```
ssh-keygen -t rsa
```
进入.ssh目录，将公钥追加到authorized_keys
```
cat id_rsa.pub >> authorized_keys
```
登陆其他主机，将其他主机的公钥内容都拷贝到master主机的authorized_keys中
```
ssh-copy-id -i master
```

这样master主机中就有了所有的公钥。

修改authorized_keys权限
```
chmod 600 authorized_keys
```
将该文件拷贝到worker主机中
```
scp authorized_keys worker1:~/.ssh/
```

ssh免密登陆搞定！

hadoop集群搭建

jdk安装

解压

tar -zxvf jdk-8u321-linux-aarch64.tar.gz -C  ~/dev

创建软链接（类似起了个别名）

ln -s jdk1.8.0_321/ jdk1.8

配置环境变量（用户级别）vim ~/.bashrc

# jdk
export JAVA_HOME=/home/lulu/dev/jdk1.8
export JRE_HOME=/home/lulu/dev/jdk1.8/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

更新环境变量
```
source ~/.bashrc
```
检查
```
java -version
```

hadoop

解压

tar -zxvf hadoop-2.6.0.tar.gz -C  ~/dev

创建软链接

ln -s hadoop-2.6.0/ hadoop

在hadoop主目录下：

mkdir tmp
mkdir dfs
mkdir dfs/name
mkdir dfs/node
mkdir dfs/data

hadoop配置

以下操作都在hadoop/etc/hadoop下进行。

编辑hadoop-env.sh文件，修改JAVA_HOME环境配置

# export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/home/lulu/dev/jdk1.8

编辑core-site.xml文件

master是主机名

hadoop.tmp.dir是刚刚创建的tmp文件夹/home/lulu/dev/hadoop/tmp

<configuration><property>  <name>fs.defaultFS</name>  <value>hdfs://master:9000</value>  </property>  <property>  <name>io.file.buffer.size</name>  <value>131072</value>  </property>  <property>  <name>hadoop.tmp.dir</name>  <value>file:/home/lulu/dev/hadoop/tmp</value>  <description>Abasefor other temporary directories.</description>  </property>  <property>  <name>hadoop.proxyuser.spark.hosts</name>  <value>*</value>  </property>
<property>  <name>hadoop.proxyuser.spark.groups</name>  <value>*</value>  </property>
</configuration>

编辑hdfs-site.xml文件

master是主机名

dfs.namenode.name.dir；dfs.namenode.data.dir是刚刚创建的文件夹：

/home/lulu/dev/hadoop/dfs/name

/home/lulu/dev/hadoop/dfs/data

<configuration>
<property>  <name>dfs.namenode.secondary.http-address</name>  <value>master:9001</value>  </property>  <property>  <name>dfs.namenode.name.dir</name>  <value>file:/home/lulu/dev/hadoop/dfs/name</value>  </property>  <property>  <name>dfs.datanode.data.dir</name>  <value>file:/home/lulu/dev/hadoop/dfs/data</value>  </property>  <property>  <name>dfs.replication</name>  <value>3</value>  </property>  <property>  <name>dfs.webhdfs.enabled</name>  <value>true</value>  </property>
</configuration>

编辑mapred-site.xml文件

复制该文件并且重命名

cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>  <name>mapreduce.framework.name</name>  <value>yarn</value>  </property>  <property>  <name>mapreduce.jobhistory.address</name>  <value>master:10020</value>  </property>  <property>  <name>mapreduce.jobhistory.webapp.address</name>  <value>master:19888</value>  </property>
</configuration>

编辑yarn-site.xml文件

<configuration>
<!-- Site specific YARN configuration properties -->
<property>  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value>  </property>  <property>  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  <value>org.apache.hadoop.mapred.ShuffleHandler</value>  </property>  <property>  <name>yarn.resourcemanager.address</name>  <value>master:8032</value>  </property>  <property>  <name>yarn.resourcemanager.scheduler.address</name>  <value>master:8030</value>  </property>  <property>  <name>yarn.resourcemanager.resource-tracker.address</name>  <value>master:8035</value>  </property>  <property>  <name>yarn.resourcemanager.admin.address</name>  <value>master:8033</value>  </property>  <property>  <name>yarn.resourcemanager.webapp.address</name>  <value>master:8088</value>  </property>
</configuration>

修改slaves文件，添加集群节点
```
master
worker1
worker2
```

hadoop集群搭建

将配置的hadoop以及jdk以及环境变量文件都传送给其他worker。

我的dev里面包含了hadoop以及jdk的文件夹噢。
```
scp -r dev lulu@worker1:~/
scp -r dev lulu@worker2~/
```
看看worker1文件，检查传过来了没有，发现软链接不见了，文件夹都是两份，咱删除一份就行了，删除hadoop-2.6.0 jdk1.8.0_321，

后续启动的时候会说找不到hadoop-2.6.0/xxx文件，所以我们需要再建立hadoop-2.6.0软链接ln -s hadoop hadoop-2.6.0。
```
scp -r .bashrc lulu@worker1:~/
scp -r .bashrc lulu@worker2:~/
```
之后在每个主机更新一下环境变量就行 source ~/.bashrc。

hadoop集群启动

先格式化文件系统，在hadoop/bin下进行

lulu@master:~/dev/hadoop/bin$ ./hadoop namenode -format

启动hadoop，在hadoop/sbin下进行

lulu@master:~/dev/hadoop/sbin$ ./start-all.sh

出现下列信息，启动成功。

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh
22/03/21 15:43:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [master]
master: starting namenode, logging to /home/lulu/dev/hadoop-2.6.0/logs/hadoop-lulu-namenode-master.out
master: starting datanode, logging to /home/lulu/dev/hadoop-2.6.0/logs/hadoop-lulu-datanode-master.out
worker1: starting datanode, logging to /home/lulu/dev/hadoop/logs/hadoop-lulu-datanode-worker2.out
worker2: starting datanode, logging to /home/lulu/dev/hadoop/logs/hadoop-lulu-datanode-worker2.out
Starting secondary namenodes [master]
master: starting secondarynamenode, logging to /home/lulu/dev/hadoop-2.6.0/logs/hadoop-lulu-secondarynamenode-master.out
22/03/21 15:44:09 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
starting yarn daemons
starting resourcemanager, logging to /home/lulu/dev/hadoop-2.6.0/logs/yarn-lulu-resourcemanager-master.out
worker1: starting nodemanager, logging to /home/lulu/dev/hadoop/logs/yarn-lulu-nodemanager-worker2.out
master: starting nodemanager, logging to /home/lulu/dev/hadoop-2.6.0/logs/yarn-lulu-nodemanager-master.out
worker2: starting nodemanager, logging to /home/lulu/dev/hadoop/logs/yarn-lulu-nodemanager-worker2.out

hadoop集群检查
- 8088端口
- 50070端口

spark集群搭建

scala安装

tar -zxvf scala-2.11.8.tgz -C ~/dev

建立软链接：ln -s scala-2.11.8/ scala

配置环境变量

# scala
export SCALA_HOME=/home/lulu/dev/scalaexport PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$PATH

spark安装

tar -zxvf spark-2.0.0-bin-hadoop2.6.tgz -C ~/dev/

建立软链接：ln -s spark-2.0.0-bin-hadoop2.6/ spark

配置环境变量

# spark
export SPARK_HOME=/home/lulu/dev/sparkexport PATH=$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

spark配置

进入spark下的conf文件中

复制spark-env
```
cp spark-env.sh.template spark-env.sh
```

编辑spark-env.sh

export JAVA_HOME=/home/lulu/dev/jdk1.8
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=8g
export SPARK_WORKER_CORES=4
export SPARK_EXECUTOR_MEMORY=4g
export HADOOP_HOME=/home/lulu/dev/hadoop
export HADOOP_CONF_DIR=/home/lulu/dev/hadoop/etc/hadoop
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lulu/dev/jdk1.8/jre/lib/amd64

编辑slaves

cp slaves.template slaves
master
worker1
worker2

spark配置集群

将spark以及scala以及环境变量都scp到其他节点

scp -r spark-2.0.0-bin-hadoop2.6/ lulu@worker1:~/dev
scp -r spark-2.0.0-bin-hadoop2.6/ lulu@worker2:~/dev
scp -r scala-2.11.8/ lulu@worker1:~/dev
scp -r scala-2.11.8/ lulu@worker2:~/dev
scp -r .bashrc  lulu@worker1:~/
scp -r .bashrc  lulu@worker2:~/

对穿过去的文件建立软链接，并且更新环境变量。

spark集群启动

在spark/sbin下进行

./start-all.sh

starting org.apache.spark.deploy.master.Master, logging to /home/lulu/dev/spark/logs/spark-lulu-org.apache.spark.deploy.master.Master-1-master.out
worker2: starting org.apache.spark.deploy.worker.Worker, logging to /home/lulu/dev/spark/logs/spark-lulu-org.apache.spark.deploy.worker.Worker-1-worker2.out
worker1: starting org.apache.spark.deploy.worker.Worker, logging to /home/lulu/dev/spark/logs/spark-lulu-org.apache.spark.deploy.worker.Worker-1-worker1.out
master: starting org.apache.spark.deploy.worker.Worker, logging to /home/lulu/dev/spark/logs/spark-lulu-org.apache.spark.deploy.worker.Worker-1-master.out

master、worker都已经启动。