IDEA下使用maven配置Spark开发环境
IDEA下使用maven配置Spark开发环境
- 1、安装Java
- 2、配置环境变量
- 3、配置Hadoop环境
- 4、安装Scala插件
- 5、配置maven
- 4、Spark编程
- Spark测试
使用到的软件安装包: https://pan.baidu.com/s/1fOKsPYBmOUhHupT50_6yqQ 提取码: d473
1、安装Java
点击下一步,
点击下一步:
2、配置环境变量
环境变量设置:右键->我的电脑,选择属性
点击高级系统设置
点击环境变量:
点击新建:
变量名输入:JAVA_HOME
然后点击浏览目录,选择C盘下的C:\Program Files (x86)\Java\jdk1.8.0_301文件夹,点击打开即可
3、配置Hadoop环境
1、将hadoop-common-2.6.0-bin-master 拷贝到C盘目录下
2、将C:\ hadoop-common-2.6.0-bin-master\bin下的hadoop.dll文件和winutils.exe文件拷贝到C:\Windows\System32下,若有重复,不需要复制替换。
3、配置环境变量:
和配置Java的环境变量流程一样,配置Hadoop环境
重启电脑
4、安装Scala插件
选择Plugis
输入scala,点击install
重启IDEA
5、配置maven
输入Spark_Project
选择提供的maven安装包
选择apache-maven-3.6.1-bin\apache-maven-3.6.1\conf下的setting文件,并将Override打钩
点击pom文件,将提供的pom内容全部复制修改
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"><modelVersion>4.0.0</modelVersion><groupId>org.example</groupId><artifactId>untitled2</artifactId><version>1.0-SNAPSHOT</version><inceptionYear>2008</inceptionYear><properties><scala.version>2.11.8</scala.version></properties><repositories><repository><id>scala-tools.org</id><name>Scala-Tools Maven2 Repository</name><url>http://scala-tools.org/repo-releases</url></repository></repositories><pluginRepositories><pluginRepository><id>scala-tools.org</id><name>Scala-Tools Maven2 Repository</name><url>http://scala-tools.org/repo-releases</url></pluginRepository></pluginRepositories><dependencies><dependency><groupId>org.scala-lang</groupId><artifactId>scala-library</artifactId><version>${scala.version}</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>3.8.1</version><scope>test</scope></dependency><dependency><groupId>org.specs</groupId><artifactId>specs</artifactId><version>1.2.5</version><scope>test</scope></dependency><!-- <dependency>--><!-- <groupId>org.apache.spark</groupId>--><!-- <artifactId>spark-core_2.11</artifactId>--><!-- <version>2.1.1</version>--><!-- <scope>provided</scope>--><!-- </dependency>--><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_2.11</artifactId><version>2.1.1</version><scope>provided</scope></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_2.11</artifactId><version>2.1.1</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming-kafka-0-10_2.11</artifactId><version>2.1.1</version></dependency></dependencies><build><sourceDirectory>src/main/scala</sourceDirectory><testSourceDirectory>src/test/scala</testSourceDirectory><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions><configuration><scalaVersion>${scala.version}</scalaVersion><args><arg>-target:jvm-1.5</arg></args></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-eclipse-plugin</artifactId><configuration><downloadSources>true</downloadSources><buildcommands><buildcommand>ch.epfl.lamp.sdt.core.scalabuilder</buildcommand></buildcommands><additionalProjectnatures><projectnature>ch.epfl.lamp.sdt.core.scalanature</projectnature></additionalProjectnatures><classpathContainers><classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer><classpathContainer>ch.epfl.lamp.sdt.launching.SCALA_CONTAINER</classpathContainer></classpathContainers></configuration></plugin></plugins></build><reporting><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><configuration><scalaVersion>${scala.version}</scalaVersion></configuration></plugin></plugins></reporting>
</project>
至此,环境配置完成,开始Spark编程。
4、Spark编程
1、删除test文件夹
创建Scala文件
选择Object选项,输入HelloWorld类
Scala测试完成!
Spark测试
Spark测试代码:
ackage org.exampleimport org.apache.spark.{SparkConf, SparkContext}object HelloWorld {def main(args: Array[String]) {val logFile = "hdfs://hadoop000:8020/hello.txt"val conf = new SparkConf().setAppName("Simple Application").setMaster("local") //.setMaster("local")val sc = new SparkContext(conf)val rdd = sc.textFile(logFile)val wordcount = rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _).map(x => (x._2, x._1)).sortByKey(false).map(x => (x._2, x._1))println(wordcount)wordcount.saveAsTextFile("hdfs://hadoop000:8020/output")sc.stop()}
}
发现报错,原因是虚拟内存未配置,
输入:-Xms1024m
运行成功!
IDEA下使用maven配置Spark开发环境相关推荐
- IDEA2022 配置spark开发环境
本人强烈建议在 linux环境下 学习 spark!!! Introduction Apache Spark是一个快速且通用的分布式计算引擎,可以在大规模数据集上进行高效的数据处理,包括数据转换.数据 ...
- Intellij IDEA使用Maven搭建spark开发环境(scala)
如何一步一步地在Intellij IDEA使用Maven搭建spark开发环境,并基于scala编写简单的spark中wordcount实例. 1.准备工作 首先需要在你电脑上安装jdk和scala ...
- 【Python】Mac下Sublime Text3配置Python3开发环境
我采用的第二种方案 1 [Python]Mac下Sublime Text3配置Python3开发环境 https://blog.csdn.net/qq_33304418/article/details ...
- eclipse配置spark开发环境
前言 无论Windows 或Linux 操作系统,构建Spark 开发环境的思路一致,基于Eclipse 或Idea,通过Java.Scala 或Python 语言进行开发.安装之前需要提前准备好JD ...
- Spark:windows下配置spark开发环境
安装基本的开发环境 从spark官网下载spark,如spark-2.3.0-bin-hadoop2.7.tgz,解压并配置环境变量: 增加SPARK_HOME PATH中加入%SPARK_HOME% ...
- win10php环境配置教程,Windows10系统下如何去配置PHP开发环境
Windows下搭建(Apache+PHP+MySQL)=>WAMP Linux下搭建(Apache+PHP+MySQL) =>LAMP PHP开发环境配置一般有套件安装和自定义安装两种方 ...
- windows配置spark开发环境
声明:搭建过程中,会因为版本兼容问题,造成闪退等问题,以下是我自用的版本,如需其他版本,最好先查一下兼容问题 1.jdk-8u333-windows-x64下载链接 2.scala-2.13.10下载 ...
- 基于maven搭建spark开发环境
1 背景 需要开发spark 项目,开发语言为java 2 步骤 2.1 创建工程 创建maven工程,这个不在这篇文档论述 2.2 引入pom <properties><maven ...
- windows下用eclipse配置c++开发环境
主要是windows下安装MinGW编译环境以及Eclispse编辑器安装CDT,C/C++ Development Tools两大步骤 通过网上收集的资料 将最终成功的方法总结下 一:win7下安装 ...
最新文章
- php 多维数组排序_已迁移
- tp5某个字段相同的数据只取一次_多维分析数据仓库建设建议-面向主题的建模...
- IOS15打包静态库
- 华为Mate 40 Pro最新渲染图曝光:后置相机模组有变化
- 解决系统之间Session不共享问题的几种方案
- 在 Linux shell 中自由操作时间变量
- webStrom 开始你的第一个React应用
- 西门子PLC模拟电压采集
- 信息系统安全思维导图
- Win11官方正式版(免激活)
- 图画日记怎么画_一年级数学图画日记
- 一位程序员工作10年总结的10条建议
- Flash速度与加速度公式
- 淘淘商城第44讲——搭建搜索系统工程
- inotify+rsync 实现实时同步
- 二维和三维CAD设计Autodesk AutoCAD 2021
- html id claa 命名,Claabiw教师系列.doc
- iphone用GDB修改游戏教程!详细的图文教程!
- 【Java】EasyExcel使用方法
- 通信 | 5G话题炙手可热,通信领域究竟为何急需AI?
热门文章
- UIElements开发人员指南9 样式(Style)和Unity样式表(style sheets)
- 用python进行图片素描
- java企业邮箱发送_java使用网易163企业个性域名邮箱发送邮件教程
- Scala 入门-包对象(package object)
- vue-cli Failed to download repo vuejs-templates/webapck: Response code 404 (Not Found)
- 同花顺_代码解析_技术指标_A
- 如何学习AUTOSAR
- python语言程序设计基础程序练习题7.5制作英文学习词典
- 网站服务器不要开启BBR,在缓存服务器上开启bbr测试
- Android Doze模式和app Standby模式