Spark利用（idea+maven+scala）创建wordcount打包jar并在spark on yarn上运行—

今天的你不付昨天的辛苦，今天的辛苦定会拥抱明日的幸福，
每一次的成长，都要给自己以鼓励，每一次的突破，都给自己以信心，万花丛中我不是最美，但我有我的自信
————————————送给一直努力的你
今天的学习：
Spark利用（idea+maven+scala）创建wordcount打包jar并在spark on yarn上运行——Spark的开发
生产中就是这么玩的：
一：我们先用 idea+maven+scala创建wordcount

package g5.learningimport java.net.URI
import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.spark.{SparkConf, SparkContext}
object LogServerScala {def main(args: Array[String]): Unit = {val sparkConf = new  SparkConf()// .setMaster("local[2]")
//      .setAppName("LogServerScala")//这里不能写本地，把文件写死了val sc = new SparkContext(sparkConf)//输入args(0) 输出：args(1)val uri = new URI("hdfs://hadoop001:9000")//这个过程是为了在output可以循环使用，如果存在就删掉val fileSystem = FileSystem.get(uri,sc.hadoopConfiguration,"hadoop")if (fileSystem.exists(new Path(args(1)))){fileSystem.delete(new Path(args(1)),true)}val lines = sc.textFile(args(0))lines.map(x => {val temp = x.split("\t")(temp(0),1L)//（url,count)}).reduceByKey(_+_).saveAsTextFile(args(1))sc.stop()fileSystem.close()//文件系统最后也一定要关掉}
}

代码的写入，要注意一些问题，否则后期运行时会报很多错误的
二：打包
View ==>Tool Windows ==> Maven Projects ==> package

三：
上传jar包
E:\ruozedata_workspace\g5spark1\target\test-classes
你对应的jar路径
re -be上传jar包

[hadoop@hadoop001 shell]$ vi log-yarn.shexport HADOOP_CONF_DIR=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop
$SPARK_HOME/bin/spark-submit \
--master yarn \
--class g5.learning.LogServerScala \
--name LogServerScala \
/home/hadoop/shell/g5spark1-1.0.jar \
hdfs://hadoop001:9000/logs/input/ hdfs://hadoop001:9000/logs/output1

这里要有相关的配置
四：spark on yarn上运行

[hadoop@hadoop001 shell]$ vi log-yarn.sh
[hadoop@hadoop001 shell]$ ./log-yarn.sh

我们去控制台看一下：

成功

Spark利用（idea+maven+scala）创建wordcount打包jar并在spark on yarn上运行——Spark的开发相关推荐

java spark yarn_《Spark官方文档》在YARN上运行Spark
原文链接 Spark在 0.6.0版本后支持在YARN(hadoop NextGen)上运行,并且在后续版本中不断改进. 在YARN上启动Spark 首先,确认 HADOOP_CONF_DIR或YAR ...
Spark 在YARN上运行
在YARN上运行Spark 安全在YARN上启动Spark 添加其他JAR 准备工作组态调试您的应用程序 Spark特性重要笔记的Kerberos YARN特定的Kerberos配置 Ker ...
Spark在Yarn上运行Wordcount程序
过往记忆专注于Hadoop.Spark.Hive.Flume.Hbase,QQ交流群:138615359 首页 Hadoop Spark Hive Hbase Flume 面试题面试题数据结构算 ...
小白学习Spark03-在集群上运行Spark
03 在集群上运行Spark 3.1 Spark运行架构 3.1.1 驱动器节点 3.1.2 执行器节点 3.1.3 集群管理器 3.1.4 启动Spark程序 3.1.5 小结 3.2 使用spar ...
Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
DolphiScheduler平台上运行spark程序时，外部参数设置
DolphiScheduler平台上运行spark程序时,外部参数设置近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如 ...
Spark学习笔记——在集群上运行Spark
Spark运行的时候,采用的是主从结构,有一个节点负责中央协调, 调度各个分布式工作节点.这个中央协调节点被称为驱动器( Driver) 节点.与之对应的工作节点被称为执行器( executor) 节 ...
maven 插件使用之:打包jar到lib
2019独角兽企业重金招聘Python工程师标准>>> <plugin> <groupId>org.apache.maven.plugins</grou ...
使用 Sonatype Nexus 3 搭建 Maven 私服、本地私有 Maven 仓库，Gradle 打包 jar 、aar 后自动上传到 Nexus Maven 仓库配置
1 下载 Nexus 3 https://www.sonatype.com/download-oss-sonatype 官网 (2019年7月18日更新:网站改版了下载地址:https://down ...

Spark利用（idea+maven+scala）创建wordcount打包jar并在spark on yarn上运行——Spark的开发

Spark利用（idea+maven+scala）创建wordcount打包jar并在spark on yarn上运行——Spark的开发相关推荐

最新文章

热门文章