Spark中的python shell交互界面Ipython和jupyter notebook

Spark是一个用来实现快速和通用的集群计算平台.而且提供丰富的接口.Python,java,scala和SQL
1.下载安装
在Ubuntu上,下载预编译版的spark,解压后即可使用.从官网http://spark.apache.org/downloads.html,下载预编译版”Pre-bulid for Hadoop 2.7 and later”,下载后得到一个压缩文件.tgz
打开终端,进入压缩文件所在目录,用下面命令解压文件
$ tar -xf spark-x.x.x-bin-hadoopx.x.tgz
进入解压后的文件夹,输入下面命令打开python版本的Spark shell
$ ./bin/pyspark
2.日志信息
在Spark shell启动后会显示出很多日志信息,可通过修改配置文件,设定日志信息显示的内容,只显示警告以及更严重的信息
进入解压后的spark文件夹中,打开conf文件夹,新建一个名为log4.properties的文件,在conf文件夹中找到log4.properties.template文件,用编辑器打开复制全部内容到刚才新建的文件log4.properties中,然后找到log4.rootCategory=INFO,console这一行内容:
修改为:
log4.rootCategory=WARN,console
保存退出
3.在Ipython中启动Pyspark
在Spark1.0版本中,打开终端进入spark文件夹所在目录
$ IPYTHON =1 ./bin/pyspark
如果使用jupyter notebook ,web 版的Ipython.,在同样目录下
$ IPYTHON_OPTS=’notebook’ ./bin/pyspark

在最新的**Spark2.1.1**中,以上命令不在有效,在同样目录下使用新命令打开Ipython,
$  PYSPARK_DRIVER_PYTHON=ipython      ./bin/pyspark
打开Jupyter notebook,
$   PYSPARK_DRIVER_PYTHON_OPTS='notebook'
$   PYSPARK_DRIVER_PYTHON=jupyter      ./bin/pyspark

Spark中的python shell交互界面Ipython和jupyter notebook相关推荐

利用 Python 进行数据分析 (一)：IPython 及 Jupyter notebook
本文为<利用 Python 进行数据分析>的读书笔记目录 IPython 与 Jupyter notebook 简介 IPython 基础使用 IPython 命令行运行 Jupyt ...
第02章 Python语法基础，IPython和Jupyter Notebooks
第2章 Python语法基础,IPython和Jupyter Notebooks 当我在2011年和2012年写作本书的第一版时,可用的学习Python数据分析的资源很少.这部分上是一个鸡和蛋的问题: ...
（数据分析）第02章 Python语法基础，IPython和Jupyter Notebooks.md
第2章 Python语法基础,IPython和Jupyter Notebooks 当我在2011年和2012年写作本书的第一版时,可用的学习Python数据分析的资源很少.这部分上是一个鸡和蛋的问题: ...
《利用Python进行数据分析·第2版》第2章 Python语法基础，IPython和Jupyter Notebooks
第 1 章准备工作第 2 章 Python 语法基础,IPython 和 Jupyter Notebooks 第 3 章 Python 的数据结构.函数和文件第 4 章 NumPy 基础:数组和 ...
《利用Python进行数据分析·第2版》第2章 Python语法基础，IPython和Jupyter Notebooks...
第1章准备工作第2章 Python语法基础,IPython和Jupyter Notebooks 第3章 Python的数据结构.函数和文件第4章 NumPy基础:数组和矢量计算第5章 pand ...
在jupyter界面误删了jupyter notebook
问题:在jupyter界面误删了jupyter notebook 解决方式: 查看/home/liunianping/.local/share/Trash/files文件夹下是否存在误删的文件: 在误 ...
python打开交互界面设计_老司机必备——用PyQt做一个有交互界面的妹子图爬虫...
内容简介:老司机必备--用PyQt做一个有交互界面的妹子图爬虫代码飙车,指日可待.今天的课程教大家结合PyQt和 Python 爬虫技术,做一个带有交互界面的妹子图网站爬虫程序. 一.实验简介 1. ...
python编写交互界面设计_Python 如何编写交互界面？
Python 如何编写交互界面? 先导入Python GUI库tkinter:然后使用tkinter接口"Tk"进行创建界面:接着使用接口"title"设置界面 ...
在python IDLE中打开python Shell，就可以直接用import导入当前模块了
在打开的.py文件上面的工具栏中找Run->Python Shell 就可以了
第02章 Python语法基础，IPython和Jupyter Notebooks--Python for Data Analysis 2nd
当我在2011年和2012年写作本书的第一版时,可用的学习Python数据分析的资源很少.这部分上是一个鸡和蛋的问题:我们现在使用的库,比如pandas.scikit-learn和statsmodel ...

Spark中的python shell交互界面Ipython和jupyter notebook

Spark中的python shell交互界面Ipython和jupyter notebook相关推荐

最新文章

热门文章