Spark 提供了丰富的API,让开发人员可以使用简洁的方式,来处理复杂的数据计算和分析。

在开始Spark应用开发之前,需要做好如下准备工作。

(1)搭建好Hadoop环境(如果需要访问HDFS);

(2)安装好Spark v2.4.3 最新版本;

一、首先通过IDEA创建一个Maven项目,并添加Spark 依赖jar包。

groupId: org.apache.spark

artifactId: spark-core_2.11

version: 2.4.3

二、编写Spark 应用代码

示例代码很简单,就是读取本地文件 rickie.txt,然后查找并统计文本文件中有多少行包含有“rickie”字符串。

package com.rickie.spark;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

/**

* Hello world!

*

*/

public class App

{

public static void main( String[] args )

{

System.out.println( "Hello World!" );

String logFile = "file:///root/rickie.txt";

JavaSparkContext sc = new JavaSparkContext("local

db2v9/9.5高级应用开发_Spark v2.4.3应用程序开发入门-基于IDEA/Maven 构建简单应用相关推荐

  1. 云开发初探 —— 更简便的小程序开发模式

    李成熙,腾讯云高级工程师.2014年度毕业加入腾讯AlloyTeam,先后负责过QQ群.花样直播.腾讯文档等项目.2018年加入腾讯云云开发团队.专注于性能优化.工程化和小程序服务.微博 | 知乎 | ...

  2. 云开发初探 —— 更简便的小程序开发模式 1

    欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文由李成熙heyli发表于云+社区专栏 李成熙,腾讯云高级工程师.2014年度毕业加入腾讯AlloyTeam,先后负责过QQ群.花样直播. ...

  3. android开发工具哪个好_小程序开发工具怎么用?哪个好用?

    想要开发微信小程序,在没有太多资金找外包团队定制.自建团队开发时,就需要你自己通过小程序开发工具来生成小程序了.现在各种开发工具很多,到底小程序开发工具有哪些?这些微信小程序开发工具哪个好用?根据我的 ...

  4. 安卓开发大作业_罗湖小程序开发制作价格低

    罗湖小程序开发制作价格低 深圳市驰骋网络技术有限公司 驰骋网络提供外观结构设计+软硬件+APP+云服务 一站式开发服务 小程序开始走入了人们的视线,由于其独特的便捷性,给我们的生活提供了非常大的帮助, ...

  5. WePY,微信小程序开发利器,进一步简化小程序开发难度

    小程序发展到了今天,已经开放出了太多的利好消息,API 也已经非常丰富和完善了. 但是开发小程序,很多时候非常繁琐,这个原因是小程序的架构,编写一个页面需要4个文件: page.wxml page.w ...

  6. uml+oopc嵌入式c语言开发精讲_新的程序开发模式出现,传统的嵌入式C语言程序员快要灭绝了?...

    来源:嵌入式时代@头条号 在2000年前后,嵌入式软件工程师有着一套非常具体的技能,他们通常是电气工程师,不仅了解底层硬件的工作原理,还可以在底层编写汇编代码或者C语言代码,以使系统满足实时需求.嵌入 ...

  7. python程序开发_用python进行桌面程序开发

    Python是一种面向对象.直译式计算机程序设计语言,也是一种功能强大而完善的通用型语言,已经具有十多年的发展历史,成熟且稳定.这种语言具有非常简捷而清晰的语法特点,适合完成各种高层任务,几乎可以在所 ...

  8. “小程序 · 云开发”重磅上线,让小程序开发更高效!

    近日,"小程序 · 云开发"解决方案正式上线,该方案可以为小程序开发者提供完整的云端支持. 通过简化复杂的后端和运维操作,让即便不具备一定后端知识的开发者,也能高效开发出一款高质量 ...

  9. 移动应用程序开发_7种用于移动应用程序开发的终极编程语言

    移动应用程序开发 " " 您是否知道21%的人每天打开一个应用50次以上? (Do you know that 21% of people open an app 50+ time ...

最新文章

  1. 6次课(相对和绝对路径、cd命令、创建和删除目录mkdir/rmdir、rm命令)
  2. 安全×××限 爱因斯坦对安全进程的启示
  3. 港航环境变化引起的错误解决方法
  4. java基础—IO流——复制一个文件到当前文件夹中
  5. mysql三高讲解(二):2.8 mysql视图相关概念
  6. IE8 下 select option 内容过长 , 展开时信息显示不全问题解决办法
  7. aspose.cell for java 去水印_【Java编程基本功】(十)输出杨辉三角,输出*号,数组移动...
  8. 1 + 2 + 3 + 4 + ⋯
  9. Flurry 统计(国际版)
  10. java求职简历模板自我评价_java简历自我评价填写样本
  11. 2019年研究生数学建模竞赛优秀论文汇总
  12. 图像频域处理之高斯滤波器
  13. 高通camera模块驱动指南资料介绍
  14. 台计算机结构看内存条位置,内存条在哪个位置
  15. 屏幕快照之旅:Android 4.2 Jelly Bean的10个新功能
  16. Nacos官方Docker版安装
  17. 电容笔和触控笔的区别是什么?好用的电容笔测评
  18. linux MySQL操作
  19. 获取某种颜色在图片中所占的比例
  20. 挂号信经过几次签收最终送达收件人?

热门文章

  1. 同在服务器无响应,全部服务器无响应!!!
  2. CNN+CTC语音识别
  3. WCF 4.0 进阶系列 – 第十二章 实现单向操作和异步操作(下)
  4. flask学习笔记之blueprint
  5. CentOS 7.2 搭建内网ntp时间服务器
  6. The only supported ciphers are AES-128-CBC and AES-256-CBC
  7. 使用createrepo自建yum源
  8. Linux iptables防火墙设置与NAT服务配置
  9. windows 7装IIS
  10. 基于JSP实现OA办公系统