Mac Spark 安装

spark包下载地址：https://spark.apache.org/downloads.html

选择适合的spark 版本进行下载
再安装spark之前要保证你的电脑上已经安装了JDK，Hadoop , Scala ，Python
将下载好的安装包尽心解压，得到如下的文件夹

配置conf文件及环境变量
conf：
复制conf目录下的spark-env.sh.template ,并将复制的文件重命名为 spark-env.sh

修改spark-env.sh 的内容为：
export SCALA_HOME= /Users/admin/Library/Application Support/JetBrains/IntelliJIdea2020.1/plugins/Scala/repo/org.jetbrains/sbt-structure-extractor/scala_2.12 #Scala的目录

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

配置环境变量
sudo vim /etc/profile
增加如下内容

export SPARK_HOME=/Users/admin/Documents/develp/opt/spark2.4.8/spark-2.4.8-bin-hadoop2.7 # spark的安装目录
export PATH=$PATH:$SPARK_HOME/bin

使环境变量生效
source /etc/profile

在任何目录下执行spark-shell ，出现如下情况即安装成功

Mac Spark 安装相关推荐

Spark学习（一） -- Spark安装及简介
标签(空格分隔): Spark 学习中的知识点:函数式编程.泛型编程.面向对象.并行编程. 任何工具的产生都会涉及这几个问题: 现实问题是什么? 理论模型的提出. 工程实现. 思考: 数据规模达到一台 ...
window 10下 Spark 安装简单使用
文章目录安装虚拟机管理软件vagrant: 安装VirtualBox, vagrant默认使用VirtualBox: 使用windows的powershell: 进入centos, 安装jdk: 安 ...
aac文件损坏修复软件_Mac不能安装非信任应用的解决方法 MAC软件安装必读打不开身份不明的开发者?文件已损坏?...
1.mac不能安装非信任应用的第一种情况 Mac打不开身份不明的开发者?不明开发者,文件已损坏? 提示不明开发者,文件已损坏解决方法 1.打开系统偏好设置-安全性与隐私 2.解锁 3.允许以下位置下 ...
Mac如何安装并永久激活PyCharm以及IntelliJ IDEA
文章目录 mac如何安装并永久激活PyCharm以及IntelliJ IDEA 一:PyCharm下载激活教程(for mac) (1)下载 (2)安装 (3)激活二:IntelliJ IDEA软件 ...
MAC YII 安装步骤
MAC YII 安装步骤 1.下载XAMPP for MAC http://www.apachefriends.org/en/xampp-macosx.html 虽然单独安装apache ,mysq, ...
mac git安装及github配置
准备下载一个react的demo程序包,需要本地用到git.早就向配置了,那就安装配置一下吧. 首先,原来mac已经安装了git,版本 2.7 ,我用 brew又安装了一份git 版本 2.10.2. ...
(0017)iOS 开发之Mac上安装Eclipse、创建java后台程序访问本地数据库
Mac 上安装Eclipse 1. Eclipse下载列表: http://www.eclipse.org/downloads/packages/release/Neon/2 2.不同的开发需求下载不 ...
Mac 下安装 ruby 环境解决 brew 安装 yarn 问题
Mac 下安装 ruby 环境解决 brew 安装 yarn 问题参考文章: (1)Mac 下安装 ruby 环境解决 brew 安装 yarn 问题 (2)https://www.cnblogs. ...
fot mac matlab_matlab for mac的安装-亲手实验
Matlab 2011b/2012a for MAC 安装体验因为本人的业务需求,需要在 macbook air 13 ' 上面安装 matlab . Mac 上面已经装好了 OS 和 XCODE4 ...
《Python硬件编程实战》——2.8　在Mac中安装Python
本节书摘来自华章计算机<Python硬件编程实战>一书中的第2章,第2.8节,作者:李茂著, 更多章节内容可以访问云栖社区"华章计算机"公众号查看. 2.8 在Mac ...

Mac Spark 安装

Mac Spark 安装相关推荐

最新文章

热门文章