spark(3) - scala独立编程

>>非集成：

环境需要

　　* spark 2.4.0

　　* scala 2.11.12

　　* sbt （打包）

开发过程

　　1、shell命令下创建项目目录结构

　　　　　　*****/ project / src / main / scala

　　　　　　　　　　　　　　　　 -> . / ClassName.scala （ touch + gedit 命令）　　　　　

　　　　　　*****/ project

　　　　　　　　　　　-> . / ******.sbt (Scala & spark 配置信息)

　　2、编写代码

　　3、sbt打包jar - sbt package

　　4、运行 spark-submit --class " ** " ..../../../../ ***.jar

目录结构：

　　　　/src - 手动编写

　　　　simple.sbt - 手动编写

　　　　/project - sbt 打包生成

　　　　/target - sbt 打包生成

>>集成环境

　　* Eclipse +maven/sbt

　　* Scala IDE for eclipse

　　* Intellij IDEA + maven/sbt

　　使用过程：

　　　　创建项目

　　　　编写代码

　　　　运行调试

【问题】：这几个工具配合使用maven/sbt 老由问题

待处理：1、网速慢 2、配置不熟悉

转载于:https://www.cnblogs.com/floakss/p/10526213.html

spark(3) - scala独立编程相关推荐

spark之scala快速入门
scala和java都是在jvm之上的语言,相对来讲,scala热度比较低,其实并不是一个特别好的语言选择. 原因倒不是因为scala本身的缺点,而是使用人群不够多,论坛和社区不够活跃.这就跟社交软件 ...
Scala入门到精通——第二十九节 Scala数据库编程
本节主要内容 Scala Mavenproject的创建 Scala JDBC方式訪问MySQL Slick简单介绍 Slick数据库编程实战 SQL与Slick相互转换本课程在多数内容是在官方教程 ...
02、体验Spark shell下RDD编程
02.体验Spark shell下RDD编程 1.Spark RDD介绍 RDD是Resilient Distributed Dataset,中文翻译是弹性分布式数据集.该类是Spark是核心类成员之 ...
【编程语言】Scala 函数式编程
函数是Scala 中的一等公民. 本文讨论Scala函数式编程的一些基本原理.你将会学到如何使用高阶函数,以及重用已有代码时,遵守 DRY 原则. Scala 的集合库很棒 # So what doe ...
Scala核心编程第六章—Scala面向对象编程（一）
佛家有云:一花一世界,一叶一菩提,而我们所学的Java就是一个以面向对象为基础的程序语言,在Java中是万物皆为对象,但是在Scala中万事万物皆为对象,由此引出了Scala面向对象编程,接下来,让我 ...
【中英双语】高级Scala函数式编程
[中英双语]高级Scala函数式编程成为顶级 Scala 程序员,这样您就可以使用 Spark.Akka.Cats 或任何 Scala 工具!此教程共13.5小时,中英双语字幕,画质清晰无水印,源码 ...
【Spark】scala基础入门
文章目录零.IDEA的scala环境配置 0.1 spark和scala之间的关系 0.2 编写项目 (0)创建项目 (1)配置pom.xml文件: (2)配置对应环境 (3)测试代码 (4)控制台 ...
Scala语言编程基础
文章目录 Scala语言编程基础 1.实验描述 2.实验环境 3.相关技能 4.知识点 5.实现效果 6.实验步骤 7.总结 Scala语言编程基础 1.实验描述完成Scala的基本操作,达到对Sc ...
【Spark】RDD入门编程实践（完整版）
文章目录 1 RDD创建 1.1 从文件系统中加载数据 1.2 通过并行集合 2 RDD的操作 2.1 转换 2.1.1 filter 2.1.2 map 2.1.3 flatMap 2.1.4 gr ...

spark(3) - scala独立编程

spark(3) - scala独立编程相关推荐

最新文章

热门文章