win10 安装单机版 pyspark
参考这篇博客： https://blog.csdn.net/weixin_38556445/article/details/78182264
默认已经电脑已经安装java 和 python。
1 需要安装spark 和 hadoop （python3.6 需要spark2.1以上版本）
两者作相同处理：解压之后，还需要完成SPARK_HOME和bin环境变量相关配置；HADOOP_HOME 和bin 环境变量的配置。
2 下载hadoop 版本对应的winutils.exe
将winutils.exe文件放到Hadoop的bin目录下（我的是E:\spark\spark-2.1.0-bin-hadoop2.7\bin），然后以管理员的身份打开cmd，然后通过cd命令进入到Hadoop的bin目录下，然后执行以下命令：
winutils.exe chmod 777 c:\tmp\Hive
3 在pycharm做如下设置：否则会报错：Could not find valid SPARK_HOME
win10 安装单机版 pyspark相关推荐
- win10安装java+hadoop+spark
目录 前言 Java安装 方法一 方法二 测试 hadoop安装 下载 配置环境变量 Scala安装 下载 配置环境变量 测试 Spark安装 方法一 方法二 两种方法的区别 说明: 前言 操作系统w ...
- win10安装docker并结合Idea2018.1部署springboot项目
一.准备工作 1..工具:win10,idea2018,maven3.5,jdk8 二.win10安装docker 1.win10安装docker:http://www.runoob.com/dock ...
- win10安装程序无法将配置为在此计算机,Win10安装会遇到的问题汇总及解决方法...
Win10发布已经有一段时间了,尽管Win10安装会遇到各种各样的问题,使用Win10的用户还是很多.那么,Win10安装会遇到的问题有什么呢?又该怎么解决呢?根据安装方式的不同,出现的问题也不同,接 ...
- win10 下载 linux系统安装教程,Win10安装Linux子系统图文教程
Windows10提供了ubantu Linux子系统,终于可以把卡卡的虚拟机扔在一边了,下面介绍一下win10安装linux子系统的过程. 1.打开Windows功能,在这里把勾打上 2.打开设置– ...
- Win10安装bash慢的解决方案
Win10安装bash慢的解决方案 参考文章: (1)Win10安装bash慢的解决方案 (2)https://www.cnblogs.com/rangeon/p/6741260.html 备忘一下.
- win10安装JDK cmd中可以运行java，但不能用javac，解决方案
win10安装JDK cmd中可以运行java,但不能用javac,解决方案 参考文章: (1)win10安装JDK cmd中可以运行java,但不能用javac,解决方案 (2)https://ww ...
- 解决win10安装MySQL数据库出现服务无法启动的问题
解决win10安装MySQL数据库出现服务无法启动的问题 参考文章: (1)解决win10安装MySQL数据库出现服务无法启动的问题 (2)https://www.cnblogs.com/jyjia/ ...
- ISE 14.7安装教程最新版（Win10安装）——解决Win10安装完后打不开快捷方式的方法
ISE 14.7安装教程最新版(Win10安装)--解决Win10安装完后打不开快捷方式的方法 参考文章: (1)ISE 14.7安装教程最新版(Win10安装)--解决Win10安装完后打不开快捷方 ...
- win10 安装cuda黑屏解决
win10安装cuda8时,在安装图形驱动时黑屏,电脑基本死机状态,不知道什么原因,网上也查不到. 自己凭直觉解决了, 解决方法:控制面板把显卡驱动卸载,再次安装就好了.
最新文章
- 安装kubernetes1.12.1的 dashboard v1.10 + Heapster
- 3天造了一个深度学习轮子，生猛！
- 《c语言从入门到精通》看书笔记——第3章 数据类型
- 【LeetCode笔记】301. 删除无效的括号（Java、DFS、字符串）
- Nandflash 驱动深度分析（基于S3C2410）
- 程序员为3万福利放弃30万年薪：贪小便宜的人，都把自己坑惨了
- Spring Data Jpa 报错org.hibernate.LazyInitializationException: could not initialize proxy
- CentOS卸载自带的JDK
- 浅谈java的静态代理模式
- python接口自动化测试(五)-其它(认证代理超时配置)
- d3d11 indirect lighting
- 内置函数、匿名函数、递归、二分法
- 函数式编程基础---高阶函数和偏函数
- Beekeeper Studio：一款高颜值且免费的 SQL 开发工具
- CANoe 13 demo 下载和激活-转载
- ffmpeg转码参数
- JavaWeb学习篇8_用户登录、信息的增删改查、复杂功能小项目（Servlet、JSP、MySQL、JDBCTemplete、Durid、BeanUtils、tomcat、EL、JSTL）
- Python xlwt 操作 excel 表格基础（三）：单元格格式、字体格式、对齐方式、边框及填充等
- 怎样把m4a转换mp3格式？
- Kaggle入门项目，泰坦尼克号幸存者