spark运行在windows环境的idea遇到的问题记录

关于在windows10环境开发spark时，遇到的一些环境问题，作一下记录

这次只了两点记录，如下：

１、Couldn't find pwsh.exe or powershell.exe

２、Could not locate executable null\bin\winutils.exe in the Hadoop binaries

前提：由于机器使用已久，申请了一台新的笔记本，各种环境都需要重新安装，确实是头大啊，需要准备各种安装软件

一、问题1的解决方案

1、新本到手后，下载了新版idea工具，进行安装

2、Java和Scala环境安装，即配置

3、此时将原项目导入去，由于是scala项目，选择的build工具为sbt，在进行init时一直提示错误

Couldn't find pwsh.exe or powershell.exe on path or in default system

由于之前安装一次，踩过相关的坑，直接下载的“PowerShell-7.0.7-win-x64.msi”，进行安装即可

下载地址：Installing PowerShell on Windows - PowerShell | Microsoft Docs

到目前为止，项目可以正常编译了打包了

二、问题2解决方法

上面的环境已经准备就位，开始测试spark程序代码了，不过直接抛出异常，如下

这个主要是由于hadoop环境没有配置的原因，通过配置系统的环境变量，进行解决，由于windows和linux环境不同的原因，需要在windows的环境下，使用winutils.exe

通过配置hadoop_home环境，在path环境中将%hadoop_home%\bin配置好

winutils.exe放在%hadoop_home%\bin即可

记录一下，否则每次换了环境都要折腾一番，后面有其它问题再作补充

spark运行在windows环境的idea遇到的问题记录相关推荐

window安装python3后怎么用pyspark_pyspark：连接spark集群Windows环境搭建
软件 1.anaconda(python3.6) 2.spark-2.4.3-bin-hadoop2.7(spark版本要和集群上的一样) 3.JDK1.8 python环境配置 pip instal ...
kafka windows环境搭建 SASL_PLAINTEXT/SCRAM
kafka windows环境搭建 SASL_PLAINTEXT/SCRAM acl认证记录一.kafka 下载参考地址 https://kafka.apache.org/downloads 二.环 ...
Windows + IDEA + SBT 打造Spark源码阅读环境
Spark源码阅读环境的准备 Spark源码是有Scala语言写成的,目前,IDEA对Scala的支持要比eclipse要好,大多数人会选在在IDEA上完成Spark平台应用的开发.因此,Spark源 ...
Windows环境下在IDEA编辑器中spark开发安装步骤
以下是windows环境下安装spark的过程: 1.安装JDK(version:1.8.0.152) 2.安装scala(version:2.11/2.12) 3.安装spark(version:s ...
windows环境下运行.sh文件
.sh是shell script格式的文件,在Linux环境下是可以直接运行的,到文件所在目录下,执行 ./test.sh 如果是在Windows环境下,在CMD窗口是无法直接执行 ./test.sh ...
Windows环境下，如何在Docker里运行SAP UI5应用
本文面向的读者是对Docker技术有一些基本概念,但因为没有测试环境,所以没有动手操作过的朋友们. 最近Jerry因为要做一个新的SAP云产品开发,得搭各种开发环境,其中之一就是Docker. Jer ...
Intel SGX入门教程（二）在windows环境搭建intel sgx环境并运行helloworld程序
一 .环境要求 1.1 实验环境不低于一下要求 64 位 Microsoft Windows 操作系统 Microsoft Visual Studio 2015 英特尔软件防护扩展 SDK 注意:Vi ...
如何在 Windows 环境下配置 PHP 开发运行环境
我们都知道 PHP 运行需要的环境通常被称为 AMP. 其中 A 是 Apache 应用服务器,M 是 Mysql,P 就是 PHP 了. 实际上,很多人可能会使用一个测试 Mysql,但是针对一些小 ...
easydarwin 安装_流媒体技术学习笔记之（十一）Windows环境运行EasyDarwin-阿里云开发者社区...
流媒体平台框架下载安装 Github下载解压安装选择Windows 安装平台的安装包(下载解压) 把解压生成的文件夹重命名放在本地磁盘,我这里测试放在E盘: 介绍其中的来个批处理文件: start ...

spark运行在windows环境的idea遇到的问题记录

spark运行在windows环境的idea遇到的问题记录相关推荐

最新文章

热门文章