spark运行自带例子_运行spark自带的例子出错及解决
以往都是用java运行spark的没问题,今天用scala在eclipse上运行spark的代码倒是出现了错误 ,记录
首先是当我把相关的包导入好后,Run,报错:
Exception in thread "main"org.apache.spark.SparkException: A master URL must be set in your configuration
at org.apache.spark.SparkContext.(SparkContext.scala:185)
at SparkDemo.SimpleApp$.main(SimpleApp.scala:13)
at SparkDemo.SimpleApp.main(SimpleApp.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)
Using Spark‘sdefault log4j profile: org/apache/spark/log4j-defaults.propertie
通过百度下找到了相似的解决,在IntelliJ解决办法:在IDE中点击Run -> Edit Configuration,在右侧VM options中输入“-Dspark.master=local”,指示本程序本地单线程运行
但是我在eclipse中运行,应该是同样的道理,在eclipse中进行配置,Run -> Run Configuration 在 Arguments 中配置 VM arguments 配置-Dspark.master=local
再次运行,依旧出错:
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
at akka.actor.ActorCell$.(ActorCell.scala:336)
at akka.actor.ActorCell$.(ActorCell.scala)
at akka.actor.RootActorPath.$div(ActorPath.scala:159)
at akka.actor.LocalActorRefProvider.(ActorRefProvider.scala:464)
at akka.actor.LocalActorRefProvider.(ActorRefProvider.scala:452)
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
eclipse中Spark版本为1.2.0,运行环境scala为2.11,看来Spark版本和Scala版本还是存在一些兼容性问题,,eclipse中编译eclipse变为2.10版本问题将解决。
spark运行自带例子_运行spark自带的例子出错及解决相关推荐
- spark如何进行聚类可视化_基于Spark的出租车轨迹处理与可视化平台
由于城市化进程加剧以及汽车数量增加, 城市交通问题日益严重[, 通过分析各种空间数据解决交通问题是当前研究的热点. 出租车提供广泛且灵活的交通运输服务, 是城市交通的重要组成部分. 出租车轨迹数据记录 ...
- 各纬度气候分布图_气候气压带图_世界气候气压带风带分布图要图(需要表识纬度)-4d影院专题信息栏目...
1.谁能给我气压带风带和气候的分布示意图 如图哦.气压带和风带的话楼上的已经上传了,我这个还比较全的.还有什么问题可以问我哦,我地理资料很多啊 2姚元浩 .图1为气候类型分布模式图,图的左侧是某季节影 ...
- spark的流失计算模型_使用spark对sparkify的流失预测
spark的流失计算模型 Churn prediction, namely predicting clients who might want to turn down the service, is ...
- 查看计算机桌面的命令,运行查看电脑配置_运行命令查看电脑配置
2016-12-02 14:50:04 1在windows桌面,点击开始菜单,点击"控制面板". 2在控制面板中,点击"管理工具". 3点击"事件查看 ...
- windows运行python脚本卡住_运行python脚本安装windows服务时没有响应
代码如下: import win32serviceutil import win32service import win32event import servicemanager import soc ...
- python在浏览器运行一片空白_运行代码,浏览器显示一片空白是怎么回事?
转自:http://bbs.csdn.net/topics/390558542 以我的经验来看 很有可能是代码有错 又关闭了报错 所以什么都不显示 把你index.php帖出来看看 在PHP文件头 ...
- java派生类属例子_【备考】带你认识相关类属vs派生类属!
原标题:[备考]带你认识相关类属vs派生类属! 关于下位学习中的相关类属和派生类属总有一些同学在做题过程中出现疑惑,做题也是错误率较高.究其原因就是同学们掌握二者概念的时候,很多人都是用例子来记住概念 ...
- 信号量使用例子_用信号量锁定:一个例子
信号量使用例子 并发是带来有趣挑战的一个方面. 如果处理不当,会带来种族问题,这会使人们感到困惑,因为这些问题有时会突然出现,并且有时会正常工作. 当处理访问公共资源的并发线程时,Java语言提供了许 ...
- lammps计算聚合物例子_(从examples的简单例子,到完成自己的科研课题)LAMMPS分子动力学技术与应用专题...
1 分子动力学模拟入门理论--掌握LAMMPS的in文件中各命令的意义 1.1系综理论1.2主要算法介绍1.3积分步长的选取1.4温度和压力控制1.5周期性边界条件1.6分子动力学模拟流程 2 LAM ...
最新文章
- IT男人必学的20大泡妞妙招
- MongoDB查询(上)
- javahost(JVM虚拟DNS)解决hosts程序中hosts配置问题
- why I need a flow learn note.
- Spring声明式事务管理、事务的传播行为xml配置
- 移动端实现文字轮播_移动端轮播图实现
- 坏掉的项链(洛谷P1203题题解,C++语言描述)
- 多线程-ThreadLocal,InheritableThreadLocal
- Linux TTY/PTS概述
- c语言编写程序寻找最大公约数,C程序设计编程题库
- Bootstrap系列之模态框(Modal)
- 《Linux内核修炼之道》精华分享与讨论(1)——缅怀已逝的十八年(1991~1998)
- 美团商品平台化之路—关于架构原则的思考
- ARM和Intel处理器区别简介
- Windows终端美化
- 计算机组成原理——中央处理器cpu
- 【distillation】shrinkTeaNet:Million-scale Lightweight Face Recognition via Shrinking T-S Networks
- 山地自行车轮市场前景分析及行业研究报告
- 求助,无法查看WEB.config文件
- 微信公众平台开发之Java实现群发消息
热门文章
- oracle maxdatafiles,Oracle db_files和maxdatafiles参数
- CSS 都有哪些选择器?
- mysql 2019错误_2019-6-18 MySQL常见错误大全(陆续更新)
- JavaScript, 各国电话号码的格式化
- 综合布线命名规划原则
- hotstuff共识算法总结
- spad dtof lidar车载IMX459更新系列五深度传感器的原理和特点
- 软件试用期的实现原理
- SpringSecurity学习笔记
- cad添加自己线性_创建cad线型的两种方法(线型文件和linetype) - CAD自学网