spark安装-3台虚拟机
1.上传tar包
spark-2.4.3-bin-hadoop2.7.tgz
2.解压tar包
tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz
3.修改文件名
mv spark-2.4.3-bin-hadoop2.7 spark
4.配置环境变量
进入/etc/profile
sudo vim /etc/profile
添加以下内容
#SPARK_HOME
#自己的路径
export SPARK_HOME=/data/spark/spark
export PATH=$PATH:$SPARK_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin
使配置环境生效
source /etc/profile
5.进入spark的conf文件
cd /data/spark/spark/conf/
6.修改配置文件 spark-env.sh
拷贝spark-env.sh.template 为spark-env.sh
cp spark-env.sh.template spark-env.sh
拷贝进入spark-env.sh
vim spark-env.sh
添加以下内容
# 配置一下主服务器;端口号木有配置,默认是7077,在standby上告诉mastre是自己,我的standby是bigdata102,所以在bigdata102的配置文件中下面的bigdata103改成bigdata102
#配置大哥
export SPARK_MASTER_HOST=bigdata103# 设置zookeepr
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata101:2181,bigdata102:2181,bigdata103:2181 -Dspark.deploy.zookeeper.dir=/spark"
7.配置slaves
进入 slaves
vim slaves
添加以下内容
# 配置的从节点
bigdata101
bigdata102
bigdata103
8.分发到各个服务器
sudo scp -r conf/ bigdata102:`pwd`
sudo scp -r conf/ bigdata10:`pwd`
9.在bigdata102中修改以下内容
拷贝进入spark-env.sh
vim spark-env.sh
修改export SPARK_MASTER_HOST
# 配置一下主服务器;端口号木有配置,默认是7077,在standby上告诉mastre是自己,我的standby是bigdata102,所以在bigdata102的配置文件中下面的bigdata103改成bigdata102
#配置二哥
export SPARK_MASTER_HOST=bigdata102# 设置zookeepr
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=bigdata101:2181,bigdata102:2181,bigdata103:2181 -Dspark.deploy.zookeeper.dir=/spark"
10.修改用户名和用户组
sudo chown -R hadoop:hadoop spark
先启动zookeeper集群
bin/zkServer.sh start
11.在bigdata103上执行一下master命令
#启动spark集群
sbin/start-all.sh#关闭spark集群
sbin/stop-all.sh#启动master
sbin/start-master.sh#启动master
sbin/stop-master.sh
12.查看端口号
spark安装-3台虚拟机相关推荐
- 一台服务器 运行虚拟机吗,(原创)关于一台服务器能安装多少台虚拟机问题?...
总有人发帖问一台服务器能安装多少台虚拟机,今天我拿一台服务器来做例子,详细讲解下一台服务器大约能虚拟化多少台虚拟机: 下面以一台我们常见的RH2288H V3服务器为例: RH2288H V3服务器 ...
- Linux简介及在VMware上安装第一台虚拟机
Linux简介及在VMware上安装第一台虚拟机 1 简介 1.1 Linux概念 1.2 VMware简介 1.3 XShell简介 1.4 xftp 2 Linux目录结构 3 步骤 3.1 安装 ...
- hadoop 多机全分布式安装步骤(虚拟机1master+2slave)
文章目录 1. 虚拟机安装Centos7 2. 配置静态IP 3. 更改主机名 4. 编辑域名映射 5. 安装配置Java 6. 配置SSH免密登录 7 .安装Hadoop 8. 关闭防火墙 9. 格 ...
- VirtualBox 虚拟机上网配置-实现多台虚拟机局域网独立ip,可连接外网
首先安装一台虚拟机或者导入一台虚拟机. 1.复制多台虚拟机 在虚拟机上右键点复制,如下图: 重复以上操作可复制多台虚拟机,然后启动即可: 2.创建-仅主机(Host-Only)网络 流程:[管理(F) ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。...
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- 建立一台虚拟机并安装linux系统
1.建立一台虚拟机 使用的虚拟机软件是VMware Workstation12,获取VMware Workstation12,在本人百度网盘中或者在官网中下载,下载完成后就进行下一步安装,直到安装完成 ...
- 安装一台RHEL6虚拟机
安装一台RHEL6虚拟机 问题 新建一台RHEL虚拟机,相关配置及要求如下所述. 硬盘300GB.内存2GB 分区规划: /boot 200MB./ 100GB.SWAP 4096MB./data ...
- hadoop+zookeeper+Hbase+spark安装部署总结
hadoop+zookeeper+Hbase+spark安装部署总结 主要参考:https://blog.csdn.net/sunxiaoju/article/details/85918135 计算机 ...
- Spark 安装部署(Local+Standalone+Yarn等)
概述 Spark作为一个数据处理框架和计算引擎,被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn,不过逐渐容器式环境也慢慢流行起来.接下来,我们就分别看看不同环境下Spark的运行 ...
最新文章
- Python Qt GUI设计:QClipboard剪贴数据类(基础篇—19)
- JavaScript 中的原型(总则)
- 关于Exchange管理控制台报“您的权限不足,无法此查看数据”的解决办法
- React的组件模式 1
- 计算机网络:VLAN和VXLAN
- java post get 请求
- ntohs, ntohl, htons,htonl的比较
- python中的filter函数
- php数组中去掉空格,php数组如何去除空格
- oracle三大连接方式,oracle的三种连接方式
- persevere的用法_努力奋斗的英文短语 努力的英文意思是
- 2.7——golang数据类型【字符串类型】
- Java常见面试题(181-200)
- 极速模式下java无法加载_谷歌和360急速模式 下的XMLHttpRequest 的onprogress事件失效...
- java中的类的继承_Java中类的继承
- 2014 ACM/ICPC 北京站 总结
- 推子五子棋、连六棋(六子棋)
- 算法之统计一篇文章里不同单词的个数
- tp5获取sql_tp5 sql语句 tp5 获取sql语句
- LeetCode 第201次周赛 1546. Maximum Number of Non-Overlapping Subarrays With Sum Equals Target