Spark程序开发规范

在编写SparkRDD程序时，经常要将本地开发好的代码，在本地测试完后，要打包成jar，并发布到集群上去跑一跑。这是通过命令行传入参数的友好性提示和规范编码就体现出来了，下面我将整理【Scala语言开发Spark程序的常用模板】

package spark.sparkSQLobject SparkSQLTwitter {def main(args: Array[String]) {if (args.length < 2) {println("Usage inputFile outputFile [spark.sql.inMemoryColumnarStorage.batchSize]")}val inputFile = args(0)val outputFile = args(1)val batchSize = if (args.length == 3) {args(2)} else {"200"}
}

对于上面这段程序做简单的说明，首先该程序会判断命令行执行该类时，输入参数的个数以。
其中前两个参数 inputFile outputFile 是必填的，第三个参数[spark.sql.inMemoryColumnarStorage.batchSize] 是选填的。当程序判断第三个参数没有填写时，设置该参数的默认值。
这也就是官方代码中，常规对类输入参数的处理方法，可以采纳到自己编写的程序中。

另外对于SparkRDD程序，有一些代码是每个程序中都必备的，这里我将其整理出来，以备日后参考：

val conf = new SparkConf().setAppName("sparksql").setMaster("local")
val sc = new SparkContext(conf)
sc.setLogLevel("ERROR")

Spark程序开发规范相关推荐

python笔记6 模块与包程序开发规范包 re sys time os模块
模块与包 python 模块首引用加载到内存,如果再次引用此模块,直接从内存中读取. python文件分为:执行文件(解释器运行的文件),被引用文件(import) 模块引用一共发生了3件事: 1.他 ...
第9课：IDEA下的spark程序开发
第9课:IDEA下的spark程序开发 1.下载IntelliJ IDEA: http://www.jetbrains.com/idea/ 选择社区版,要在centos上安装,需要下载.TARGZ,解 ...
模块的使用，包，及程序开发规范
1.模块的基础认识为啥使用模块: 从文件级别组织程序,更加方便管理,且实现了功能的重复利用提高开发效率查看当前已加载模块: 打印sys.module,里面包含模块名与对象的映射为模块起别名: ...
IDEA+scala+spark程序开发流程
1. 新建JAVA工程 2. 设置scala SDK File -> Project Struction -> Libraries -> +; 添加Scala SDK.如果没有配置过 ...
c# Winform应用程序开发规范
1 前言一直想写一编关于Winform UI规范化开发的文章,客户总是抱怨我们程序界面不美观,操作不方便.作为程序开发者,工作重点往往在业务逻辑实现上,或许他们可以设计很好的算法,将系统的资源占用 ...
【spark】Spark程序开发
pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="htt ...
【2019.06.16】Django + 微信小程序实现微信小程序1——小程序基本信息，开发规范
小程序基本信息微信官方网站注册微信小程序账号小程序开发规范开发规范 - 目录规范.命名规范.代码规范目录规范: utils(工具) pages(页面) compaonents(主键) thir ...
《Spark核心技术与高级应用》——3.2节构建Spark的开发环境
本节书摘来自华章社区<Spark核心技术与高级应用>一书中的第3章,第3.2节构建Spark的开发环境,作者于俊向海代其锋马海平,更多章节内容可以访问云栖社区"华章社区&q ...
微信小程序开发规范文档
微信小程序开发规范文档摘自: https://shimo.im/docs/EZKacqyM018gmopv/read 目录规范 1.目录概述组件文件所有组件相关文件统一放在components目 ...

Spark程序开发规范

Spark程序开发规范相关推荐

最新文章

热门文章