基于hadoop搭建Spark环境

需要准备的东西

1. 准备一个配置好的hadoop,master虚拟机
2. 下载下面的三个文件
3. jdk-8u181-linux-x64.tar.gz
4. scala-2.11.1.tgz
5. spark-3.1.2-bin-hadoop3.2.tgz

步骤：

导入虚拟机后打开这个

查看网卡文件

ifconfig  -a

修改网络配置
重启网络
重启虚拟机

上传3个压缩包到虚拟机上，笔者全部放在/opt文件夹下
解压到当前文件夹

修改/etc/profile文件

命令：

vi  /etc/profile

保存：

1，Esc
2, :wq

重启或使用下面命令使得修改生效

source /etc/profile

进入spark-3.1.2-bin-hadoop3.2/conf 修改Spark配置文件

复制模板文件

cd /opt/spark-3.1.2-bin-hadoop3.2/conf
cp  spark-env.sh.template    spark-env.sh
cp  log4j.properties.template    log4j.properties
cp  slaves.template   slaves
/*如果没有slaves.template 用cp workers.template   workers*/

修改spark-env设置主节点，和从节点的配置
修改slaves设置从节点地址
添加节点主机名称，默认为localhost

注意：这里配置的spark环境只有一个基于Hadoop环境的虚拟机，配置集群的可以配置好之后分发到其他节点

基于hadoop搭建Spark环境相关推荐

基于Hadoop安装spark集群
基于Hadoop的spark环境搭建已有环境情况 Hadoop HA Java 软件版本 Hadoop 2.7.2 Java 1.8.0_301 Scala 2.11.8 Spark 2.1.0 下 ...
hadoop与spark环境搭建命令简易教程（Ubuntu18.04）
hadoop与spark环境搭建命令简易教程(Ubuntu18.04) Hadoop 一.single node cluster 二.multi node cluster 三.快速版(远程复制) Sp ...
解决办法在idea中搭建spark环境：Unable to fetch table student. Invalid method name: ‘get_table_req‘；
项目场景: idea中搭建spark环境报错:Unable to fetch table student. Invalid method name: 'get_table_req'; 问题描述 Una ...
基于Hadoop和Spark体系的大数据分析平台构建
谢谢分享! 转载:http://www.sohu.com/a/249271561_481409 随着大数据.人工智能等技术的快速发展,企业对大数据平台的需求越来越强烈,通过大数据分析技术为企业提供经营 ...
基于Hadoop搭建HA集群网盘系统
Hadoop云盘项目总结 0. 项目介绍介绍视频: 基于Hadoop搭建HA高可用网盘系统视频地址: B站搭建过程: 我的搭建过程小组成员的搭建过程项目地址待完善后会发出来技术栈:HDFS ...
《大数据基础——基于Hadoop与Spark》课后习题——第一章部分答案
仅用于我个人的学习.书籍为人民邮电出版社的<大数据技术基础--基于Hadoop与Spark>.课后习题选择是我个人认为有用的.记录下来是为了督促我学习:) 共好 1.请指出以下术语的基本含 ...
基于Hadoop的Spark超快安装
文章目录前言一.Spark的安装总结前言基于Hadoop的Spark超快安装一.Spark的安装待Hadoop安装好之后,我们再开始安装Spark. 我选择的是Spark 2.4.8 版 ...
pycharm搭建spark环境
2019独角兽企业重金招聘Python工程师标准>>> pycharm搭建spark环境安装python环境 windows下有安装包,自行下载安装即可安装spark环境官网下 ...
基于maven搭建spark开发环境
1 背景需要开发spark 项目,开发语言为java 2 步骤 2.1 创建工程创建maven工程,这个不在这篇文档论述 2.2 引入pom <properties><maven ...

基于hadoop搭建Spark环境

基于hadoop搭建Spark环境

需要准备的东西

步骤：

基于hadoop搭建Spark环境相关推荐

最新文章

热门文章