windows下Spark环境搭建

参考文章：https://www.jb51.net/article/163020.htm

一、环境准备

1、Jdk1.8(windows版本)

2、scala(windows版本)

3、spark安装包（spark-2.4.7-bin-hadoop2.7）

4、hadoop安装包（hadoop-2.7.1）

二、搭建

1、安装jdk并配置环境变量；

2、安装scala并配置环境变量；

3、解压spark安装包并配置环境变量；

4、解压hadoop安装包并配置环境变量；

5、在cmd输入spark-shell

三、遇到的问题

1、cmd执行spark-shell出现如下错误：

java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!

解决办法：

(1) ipconfig命令查出本机ip;

(2)在etc/hosts中添加配置：192.168.xxx.xxx spark.driver.host

2、cmd执行spark-shell出现如下错误：

Missing Python executable 'python3', defaulting to 'C:\Users\lenovo\AppData\Local\Programs\Python\Python39\Scripts\..' for SPARK_HOME environment variable. Please install Python or specify the correct Python executable in PYSPARK_DRIVER_PYTHON or PYSPARK_PYTHON environment variable to detect SPARK_HOME safely.

解决办法：

在配置环境变量时要先配置SPARK_HOME，再配置PATH;

不能直接PATH一步到位bin目录下；

windows下Spark环境搭建相关推荐

windows下python环境搭建_Linux/Windows下Python环境搭建步骤
Python环境搭建首先到官网(www.python.org)下载相应的安装版本.主要分为Windows和Linux两种: 一.Linux下Python环境搭建一般情况下,Linux系统都已经预安装 ...
Spark在Windows下的环境搭建
本文转载自:http://blog.csdn.net/u011513853/article/details/52865076 由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态 ...
二、Spark在Windows下的环境搭建
由于Spark是用Scala来写的,所以Spark对Scala肯定是原生态支持的,因此这里以Scala为主来介绍Spark环境的搭建,主要包括四个步骤,分别是:JDK的安装,Scala的安装,Spar ...
pythonspark安装_Spark学习笔记--Spark在Windows下的环境搭建
本文主要是讲解Spark在Windows环境是如何搭建的一.JDK的安装 1.1 下载JDK 首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略.JDK(全称是JavaTM P ...
Windows单机下Spark环境搭建
JDK下载 jdk推荐使用jdk1.8(下载网址如下) Java Downloads | Oracle 接下来设置相应的环境变量,设置方法为:在桌面右击[计算机]--[属性]--[高级系统设置],然后 ...
Windows下Appium环境搭建(java版)
因为毕业后学过java,工作后服务端开发用的也基本都是java,所以对java比较熟悉,本篇文章暂时先介绍java版本的appium环境搭建,以后会陆续介绍python版的appium,包括环境搭建. ...
Windows下Python环境搭建
文章目录 Python基本环境搭建安装python官方安装包配置环境变量安装pip 修改pip源升级pip到最新版本 Pycharm安装下载安装Pycharm 配置Python解释器 Pyt ...
安卓转战React-Native之windows下android环境搭建爬坑血泪史
前言最近又有新的项目立项,所以好久都没有写博客了,然后都是利用闲暇时间来学习React-native. 由于安卓和ios的就业环境给移动端开发带来前所未有的冲击,于是乎很多伙伴们不得不另谋他路,然后 ...
gRPC在Windows下开发环境搭建（MinGW）
在Windows下通过MinGW编译gRPC, 并对官方提供的Demo进行编译和测试,本文章记录了从gRPC开发环境搭建到编译,最后测试样例程序全过程,测试结果说明配置过程是正确的.同时本文章可以给广 ...
Windows下VideoPose3D 环境搭建搭建
Windows下VideoPose3D成功运行记录1:环境搭建 - 哔哩哔哩 (bilibili.com) 这是facebook的框架,D2.感兴趣的可以玩一下.

windows下Spark环境搭建

一、环境准备

二、搭建

三、遇到的问题

windows下Spark环境搭建相关推荐

最新文章

热门文章