PySpark ERROR: Python in worker has different version 3.9 than that in driver 3.8
在wiindows环境下，使用PySpark的时候报错：
Python in worker has different version 3.9 than that in driver 3.8, PySpark cannot run with different minor versions
File "E:\Anaconda3\envs\tf38\Lib\site-packages\pyspark\python\lib\pyspark.zip\pyspark\worker.py", line 473, in main
Exception: Python in worker has different version 3.9 than that in driver 3.8, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.根据报错内容，设置了以下变量，
PYSPARK_PYTHON=E:\Anaconda3\envs\tf38\python.exe
问题解决。
PS: 根据官方的说法，如果设置了PYSPARK_DRIVER_PYTHON，则PYSPARK_DRIVER_PYTHON会优先。我这里没有设置，所以程序直接用的PYSPARK_PYTHON。
在Linux下，一般需要在~/.bashrc中设置，例如
export PYSPARK_PYTHON=~/Anaconda3/envs/tf38/python
另外，找到一篇介绍PYSPARK_DRIVER_PYTHON的文章，里面有pycharm的设置方法，
Demystify Pyspark_driver_Python Comfortably - Python Pool
本文结束
PySpark ERROR: Python in worker has different version 3.9 than that in driver 3.8相关推荐
- Python in worker has different version 3.7 than that in driver 3.6
环境: 组件 版本 Ubuntu 20.04 Spark 3.0.0-preview2-bin-hadoop3.2 完整报错如下 : Py4JJavaError: An error occurred ...
- uwsgi 安装报错 plugins/python/uwsgi_python.h:2:20: fatal error: Python.h: No such file or directory
1. Python3 安装 uwsgi 报错 直接使用命令 sudo pip3 install uwsgi 安装如下错误: ubuntu@ubuntu:~/Downloads$ sudo pip3 i ...
- ORA-39126: Worker unexpected fatal error in KUPW$WORKER.FETCH_XML_OBJECTS [ORA-04063: view “SYS.KU$_
今天expdp导出数据库,遇到了ORA-39126: Worker unexpected fatal error in KUPW$WORKER.FETCH_XML_OBJECTS [ORA-04063 ...
- ORA-39126: Worker unexpected fatal error in KUPW$WORKER.FIXUP_MASTER_TABLE_EXPORT
源:12.2.0.1目标:11.2.0.4 [oracle@ dmp]$ expdp \'/ as sysdba\' directory=dmp schemas=xczhh version=11.2 ...
- Error: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.8‘ not found (required by /usr/anaconda3/bin/）
### Error: /usr/lib64/libstdc++.so.6: version `CXXABI_1.3.8' not found (required by /usr/anaconda3/b ...
- fatal error: Python.h: No such file or directory 解决
[常见错误] fatal error: Python.h: No such file or directory 环境场景 系统: Parrot Linux 软件: 系统python默认版本2.7 Py ...
- fatal error C1900: Il mismatch between 'P1' version '20060201' and 'P2' version '20050411'
fatal error C1900: Il mismatch between 'P1' version '20060201' and 'P2' version '20050411'问题现象及解决办法. ...
- python安装mysqlclient模块报fatal error: Python.h:解决方法
在搭建Flask框架安装mysqlclient模块时候老是报fatal error: Python.h:错误,折腾老半天,百度了老半天看了不少大神帖子,就是没解决, 后来发现这不是个BUG,都是自己的 ...
- python没有那个文件或目录_fatal error: Python.h: 没有那个文件或目录 解决方法
今天安装scrapy 先说下环境 Ubuntu16.04 系统默认Python 2.7.12 (default, Nov 19 2016, 06:48:10) ,安装过anaconda(很关键,里面有 ...
最新文章
- WEB 3.0（非技术版）
- 运用El表达式截取字符串/获取list的长度
- Java Web Token - JWT
- div超出不换行_div+CSS设置一行内文字超过宽度不换行且不显示
- JEECG 深度使用培训班 周六周日公开课（一期班）
- 10个必会的 PyCharm 技巧，附高清大图
- windows下C语言多线程编程
- Ext3.0中复杂表头样例
- 人体面部检测python_使用Python检测面部特征
- AIDA64 Business Edition（系统检测）多国语言绿色特别
- 【嵌入式】基于SPI的M8266WIFI模块调试
- 扩展卡尔曼滤波EKF
- 备案后可以改服务器信息吗,域名备案后可以更改服务器
- 编程c语言黑与白,C语言黑与白问题代码及解析
- Lotus配置之六：IBM Lotus Note添加公共邮箱
- linux内核网络TIME_WAIT
- 2016 年度消费信贷建模小结
- Java算法：华为机试算法（下），华为算法Java版，牛客网华为算法73~108题
- 【花雕动手做】有趣好玩的音乐可视化系列项目（24）--无限LED镜子灯
- BEEF的使用（简单版）