Spark开发之maven配置

基于maven的spark开发配置。可根据项目情况，调节spark.version和scala.version即可。

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"><modelVersion>4.0.0</modelVersion><groupId>my_spark</groupId><artifactId>my_spark</artifactId><version>1.0-SNAPSHOT</version><properties><spark.version>2.2.0</spark.version><scala.version>2.11</scala.version></properties><dependencies><dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_${scala.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-streaming_${scala.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-sql_${scala.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-hive_${scala.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-mllib_${scala.version}</artifactId><version>${spark.version}</version></dependency><dependency><groupId>org.apache.spark</groupId><artifactId>spark-catalyst_2.11</artifactId><version>${spark.version}</version></dependency><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>14.0.1</version></dependency></dependencies><build><plugins><plugin><groupId>org.scala-tools</groupId><artifactId>maven-scala-plugin</artifactId><version>2.15.2</version><executions><execution><goals><goal>compile</goal><goal>testCompile</goal></goals></execution></executions></plugin><plugin><artifactId>maven-compiler-plugin</artifactId><version>3.6.0</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-surefire-plugin</artifactId><version>2.20</version></plugin><plugin><artifactId>maven-assembly-plugin</artifactId><configuration><descriptorRefs><descriptorRef>jar-with-dependencies</descriptorRef></descriptorRefs></configuration></plugin></plugins></build>
</project>

Spark开发之maven配置相关推荐

Android 音乐播放器开发之 maven() { url “https://maven.google.com“} 报错
1. 问题描述在安卓音乐播放器开发中, 遇到了一些旧版本的问题, 在新版本的Android Studio 中已经改变了, 故记录一下. 旧版本中,下面这两部分是写在一块的, allprojects ...
项目开发之git配置
1.本地安装git配置安装步骤,这里不详细介绍,软件下载然后安装即可. 查看git安装版本 #git --version 2.git密钥生成 ssh-keygen -t rsa -C "f ...
pycharm远程和本地同时_pycharm远程开发之django配置
以前一直不知道pycharm还有这个功能,直到有一天晚上,领导找到我,问我flask怎么直接在Mac端远程调试centos上的代码,我顺便懵逼了,我以前都是只知道可以代码同步,今天就写写pycharm ...
Android开发之Mac配置环境变量
1.自行安装JDK 2.安装JDK后输入/usr/libexec/java_home -V命令查看JDK安装目录 3.如果你是第一次配置环境变量,可以使用"touch .bash_profi ...
VS2012 asp.net开发之“IIS配置网站”
IIS配置网站https://jingyan.baidu.com/article/9f7e7ec0b132ac6f29155443.html 使用VS2012创建web应用程序时出现如下提示ASP.N ...
android md5加密登录,Android开发之MD5加密
将字符串进行MD5加密,返回加密后的字符串 public static String encode(String password) { try { StringBuffer sb = new Str ...
IDEA下使用maven配置Spark开发环境
IDEA下使用maven配置Spark开发环境 1.安装Java 2.配置环境变量 3.配置Hadoop环境 4.安装Scala插件 5.配置maven 4.Spark编程 Spark测试使用到的软 ...
ProE二次开发之VS2005+ProE Wildfire 4.0开发环境配置
下载:配置文档一.新增头文件路径 **********************Include Files********************* Tools->Options->Pro ...
十六.linux开发之Kernel移植——内核的配置和编译原理
有道云笔记地址: 详情看这里链接,记录太多,就不一一排版了. http://note.youdao.com/noteshare?id=d25dbce79566963e3699574a74048154& ...

Spark开发之maven配置

Spark开发之maven配置相关推荐

最新文章

热门文章