Spark Streaming保存到HDFS目录中案例

Spark Streaming代码：

package streamingimport org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}object HDFSWordCount {def main(args: Array[String]): Unit = {//    if (args.length < 1 ){//      System.err.println("Usage: HdfsWordCount <directory>")
//      System.exit(1)
//    }val sparkConf = new SparkConf().setAppName("HdfsWordCount")//.setMaster("local[2]")// create the contextval scc = new StreamingContext(sparkConf,Seconds(2))val lines = scc.socketTextStream("master",9999)val words = lines.flatMap(_.split(" "))val wordCounts = words.map((_,1)).reduceByKey(_+_)wordCounts.print()wordCounts.saveAsObjectFiles(args(0))scc.start()scc.awaitTermination()}
}

利用maven打包：

mvn clean assembly:assembly

上传到集群后
创建脚本 run_hdfs20.sh ：

cd $SPARK_HOME
./bin/spark-submit \--class streaming.HDFSWordCount \--master yarn-cluster \--files $HIVE_HOME/conf/hive-site.xml \/usr/local/src/badou_code/streaming/badou_spark_20_test-1.0-SNAPSHOT-jar-with-dependencies.jar \hdfs://master:9000/output/log

运行脚本 sh -x run_hdfs20.sh

启动端口命令：nc -lp 9999 随便输出数字字母
结果：

-------------------------------------------
Time: 1612670866000 ms
-------------------------------------------
(,1)
(a,4)-------------------------------------------
Time: 1612670868000 ms
-------------------------------------------
(aa,1)
(a,4)

hdfs中查询：hadoop fs -ls /output/

drwxr-xr-x   - root supergroup          0 2021-02-06 19:58 /output/log-1612670296000
drwxr-xr-x   - root supergroup          0 2021-02-06 19:58 /output/log-1612670298000
drwxr-xr-x   - root supergroup          0 2021-02-06 19:58 /output/log-1612670300000
drwxr-xr-x   - root supergroup          0 2021-02-06 19:58 /output/log-1612670302000
drwxr-xr-x   - root supergroup          0 2021-02-06 19:58 /output/log-1612670304000

Spark Streaming保存到HDFS目录中案例相关推荐

Spark 把RDD数据保存到hdfs单个文件中，而不是目录
相比于Hadoop,Spark在数据的处理方面更加灵活方便.然而在最近的使用中遇到了一点小麻烦:Spark保存文件的的函数(如saveAsTextFile)在保存数据时都需要新建一个目录,然后在这个目 ...
Crawler：基于BeautifulSoup库+requests库+伪装浏览器的方式实现爬取14年所有的福彩网页的福彩3D相关信息，并将其保存到Excel表格中
Crawler:Python爬取14年所有的福彩信息,利用requests库和BeautifulSoup模块来抓取中彩网页福彩3D相关的信息,并将其保存到Excel表格中目录输出结果核心代码输 ...
Word: 是否将更改保存到WordCmds.dot中？
是否将更改保存到WordCmds.dot中? 1.问题描述关闭Word会弹出"是否将更改保存到WordCmds.dot中?"提示,无论是点保存,还是不保存,下次关闭Word的时候 ...
R语言使用pdf函数将可视化图像结果保存到pdf文件中、使用pdf函数打开图像设备、使用dev.off函数关闭图像设备、自定义width参数和height参数指定图像的宽度和高度
R语言使用pdf函数将可视化图像结果保存到pdf文件中.使用pdf函数打开图像设备.使用dev.off函数关闭图像设备.自定义width参数和height参数指定图像的宽度和高度目录
java 格式化json_JAVA 格式化JSON数据并保存到json文件中的实例
使用fastjson格式化json数据并保存到文件 /** * 将JSON数据格式化并保存到文件中 * @param jsonData 需要输出的json数 * @param filePath 输出的 ...
R语言使用pdf函数将可视化图像结果保存到pdf文件中、使用pdf函数打开图像设备、使用dev.off函数关闭图像设备、自定义paper参数指定pdf的纸张类型（多使用A4）
R语言使用pdf函数将可视化图像结果保存到pdf文件中.使用pdf函数打开图像设备.使用dev.off函数关闭图像设备.自定义paper参数指定pdf的纸张类型(多使用A4) 目录
Pandas的学习(读取mongodb数据库集合到DataFrame，将DataFrame类型数据保存到mongodb数据库中)
1.读取mongodb数据库集合到DataFrame import pymongo import pandas as pdclient = pymongo.MongoClient("数据库连 ...
C++读取txt数据为二维数组将数据保存到txt文本中
C++读取txt数据为二维数组保存txt文本数据 C++文件读写操作有:ofstream,ifstream,fstream: #include <fstream> ofstr ...
session mysql java_PHP自定义session处理方法，保存到MySQL数据库中
我们都知道,session是为了解决因特网的无状态属性而创造出来的.我们可以用session这种会话管理机制来构建购物车.监控站点网络访问,甚至还可以跟踪某一个用户具体是如何使用你的应用的.PHP默认 ...

Spark Streaming保存到HDFS目录中案例

Spark Streaming保存到HDFS目录中案例相关推荐

最新文章

热门文章