1.概述

0。准备工作，安装scala-2.11.8(安装windows板的http://www.scala-lang.org/download/2.11.8.html),下载spark2.1.1-bin-hadoop-2.7

1。下载scala的集成开发环境eclipse
http://scala-ide.org/download/sdk.html

2。解压就可以使用

3。建立一个scala项目，把所有spark的jar包都拷贝进去

4。然后书写代码

import org.apache.spark._
import SparkContext._
import org.apache.spark.SparkContext
import org.apache.spark.sql.SparkSessionobject WordCount {  def main(args:Array[String]){print("...")val spark = SparkSession.builder.appName("Simple Application").master("local").getOrCreate()val textFile = spark.read.textFile("E:/temp/data100000000-200000000-2000000000/crime_man1.txt")  /*  val result = textFile.flatMap(line => line.split(" "))  .map(word => (word, 1)).reduceByKey(_ + _) */ print(textFile.count)spark.stop()}
}

5.然后发现问题 unknown scala version problem

7。解决spark2.1.1使用scala2.11.8编译的，将scalaSDK换成2.11.8问题得到解决

8.但是报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.，这个错误只要不连接hdfs上的文件进行测试，就没事

下载hadoo2.7.3的Hadoop.dll和winutils.exe 这两个文件，把hadoop.dll放到本地电脑的C:\windows/system32下，重启电脑，然后把winutils.exe文件放到服务器的/opt/hzjs/hadoop-2.7.3/bin/目录下，每个集群的机器都要放，把集群的hadoop拷贝一份放到本地E:\02-hadoop\hadoop-2.7.3\目录下，把里面的配置文件拷贝到项目上图中。

没有做这个winutils.exe会出现这样的问题

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.at org.apache.hadoop.util.Shell.getQualifiedBinPath(Shell.java:379)at org.apache.hadoop.util.Shell.getWinUtilsPath(Shell.java:394)at org.apache.hadoop.util.Shell.<clinit>(Shell.java:387)at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:80)at org.apache.hadoop.security.SecurityUtil.getAuthenticationMethod(SecurityUtil.java:611)at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:273)at org.apache.hadoop.security.UserGroupInformation.ensureInitialized(UserGroupInformation.java:261)

没有做这个hadoop.dll会出现这样的问题
Exception in thread “main” java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

scala学习-1-eclipse编写第一个程序unknown scala version problem相关推荐

spark需要maven管理吗_使用Eclipse编写Spark应用程序（Scala+Maven）
点击这里观看厦门大学林子雨老师主讲<大数据技术原理与应用>授课视频 [版权声明]博客内容由厦门大学数据库实验室拥有版权,未经允许,请勿转载! [返回Spark教程首页] 对Scala代码进 ...
用eclipse编写第一个程序详解（hello world)
1.首先我们打开eclipse,显示的是下面这个画面 2.我们找到左上角的File,进行操作:File->new->Project,出现下面这个画面 3.双击Java Project,这里 ...
蒙特卡罗MCNP学习汇总（一）-----MCNP简介及编写第一个程序
目录简介: 什么是MC模拟介绍应用运行编写第一个程序格式程序讲解现象简介: 什么是MC模拟一种通过随机抽样解决数学问题的一种数值计算方法. MC方法解决的主要数学问题 -数值积分 ...
在Scala IDEA for Eclipse或IDEA里程序编译实现与在Spark Shell下的对比（其实就是那么一回事）...
不多说,直接上干货! 比如,我这里拿主成分分析(PCA). 1.主成分分析(PCA)的概念介绍主成分分析(PCA) 是一种对数据进行旋转变换的统计学方法,其本质是在线性空间中进行一个基变换,使得变换 ...
cqh-class 文件内容，类加载过程，编写第一个程序
文章目录 2. 编写第一个程序 2.1 编写源代码并运行 2.1.1 创建 .java 文件编写源码 2.1.2 配置环境变量 2.1.3 解释代码含义 2.1.4 编译与运行 2.2 class 文 ...
正点原子STM32F103精英版开发环境搭建并编写第一个程序（使用串口下载，基于HAL库）
一:软件下载: 使用图形化配置软件:STM32cubeMX,支持HAL库. 1,下载stm32cubeMX; 2,下载STM32f103器件包: 3,下载IED:keil5 arm版本: 4,下载 s ...
使用Eclipse编写Processing小程序
更多精彩的Processing编程语言相关的资讯,可以扫码关注公众号:Processing学习部落,欣赏好玩的Processing艺术作品: 使用Processing自家的PDE进行sketch的写作 ...
快学Scala 学习笔记-1: （第一章到第三章）
第一章. 1.1 Scala解释器(REPL) Scala> 8*5+2 res0: Int = 42 Scala> 0.5 * res0 res1: Double = 21.0 Scal ...
【C语言篇】学习计算机之路——第一个程序
序我这一生所追求的,只不过是在一个有你的时间,一个有你在的地方. 嗨,这里是狐狸~~ 今天是2021年12月28日,距离2022年只剩3天啦,大家都准备怎么跨年呢,我估计要在公司跨年了,唉,生活不易 ...

scala学习-1-eclipse编写第一个程序unknown scala version problem

1.概述

scala学习-1-eclipse编写第一个程序unknown scala version problem相关推荐

最新文章

热门文章