sparks streaming集成kafka注意要点

2018-04-18:

转载请注明出处:落在地上的乐乐https://blog.csdn.net/qq_35946969/article/details/79995514

sparks streaming集成kafka注意要点：
1、版本问题必须注意，我使用的各个版本: scala 2.11 ,spark 2.3.0,kafka 0.8
2、搞定spark2.3.0集群、kafka0.8集群
3、搞定本地maven项目的pom
4、启动zookeeper、kafka的server，创建kafka的topic、启动kafka的console生产者（生产者可以使用别的，比如flume）
5、spark编码注意要添加jars,可以添加到spark的jars目录下面，也可以在代码中添加，如下（集成kafka需要的如下）：

val sparkConf = new SparkConf().setAppName("LogAnalysis").setMaster("spark://192.168.126.62:7077").setJars(List("C:\\Users\\windows\\.m2\\repository\\org\\apache\\spark\\spark-streaming-kafka-0-8_2.11\\2.3.0\\spark-streaming-kafka-0-8_2.11-2.3.0.jar"
          ,"C:\\Users\\windows\\.m2\\repository\\org\\apache\\kafka\\kafka_2.11\\0.8.2.1\\kafka_2.11-0.8.2.1.jar"
          ,"C:\\Users\\windows\\.m2\\repository\\org\\apache\\kafka\\kafka-clients\\0.8.2.1\\kafka-clients-0.8.2.1.jar"
          ,"C:\\Users\\windows\\.m2\\repository\\com\\101tec\\zkclient\\0.3\\zkclient-0.3.jar"
          ,"C:\\Users\\windows\\.m2\\repository\\com\\yammer\\metrics\\metrics-core\\2.2.0\\metrics-core-2.2.0.jar"
          ,"C:\\Users\\windows\\.m2\\repository\\lele\\home\\hero\\1.0\\hero-1.0.jar"
        ))

另：使用spark-submit本地运行jar时，也需要在命令参数中将以上jar包设置在参数之中。
../spark/bin/spark-submit --master local[2] --class hero.apptest.kafka_revicer --jars runing_jar/sparkstreaming_kafka/kafka_2.11-0.8.2.1.jar,runing_jar/sparkstreaming_kafka/kafka-clients-0.8.2.1.jar,runing_jar/sparkstreaming_kafka/zkclient-0.3.jar,runing_jar/sparkstreaming_kafka/spark-streaming-kafka-0-8_2.11-2.3.0.jar,runing_jar/sparkstreaming_kafka/metrics-core-2.2.0.jar ./hero.jar

把这五个jar存起来，方便找。

资源叶：https://download.csdn.net/download/qq_35946969/10376471，不能免费的

6、注意上面jars中最后一个，是将本maven项目做成了jar，这样避免了服务器上没有我们的代码项目。
7、运行时ip问题：本地和集群必须互通。需要在集群上面映射本地机器的计算机名：ip

8、运行时端口问题：网络适配器只保留本地连接，本地连接ipv4的设置里面只保留一个ip，否则集群连接端口可能出现问题（原因是集群访问的是aip:port，但是机器分配时将port分配给了bip，就会拒绝连接）

9、暂无其他问题

sparks streaming集成kafka注意要点相关推荐

大数据Spark Structured Streaming集成 Kafka
目录 1 Kafka 数据消费 2 Kafka 数据源 3 Kafka 接收器 3.1 配置说明 3.2 实时数据ETL架构 3.3 模拟基站日志数据 3.4 实时增量ETL 4 Kafka 特定配置 ...
Spark中如何管理Spark Streaming消费Kafka的偏移量
spark streaming 版本 2.1 kafka 版本0.9.0.0 在这之前,先重述下spark streaming里面管理偏移量的策略,默认的spark streaming它自带管理的of ...
spark kafka java api_java实现spark streaming与kafka集成进行流式计算
java实现spark streaming与kafka集成进行流式计算 2017/6/26补充:接手了搜索系统,这半年有了很多新的心得,懒改这篇粗鄙之文,大家看综合看这篇新博文来理解下面的粗鄙代码吧, ...
Kafka之四：Kafka与Streaming集成
Kafka之四:Kafka与Streaming集成文章目录 Kafka之四:Kafka与Streaming集成 1. 修改IEDA的maven配置 2. 程序一 3. 程序二:统计次数 4. 提交任 ...
SparkStreaming 系列（二）kafka与Streaming集成direct流实战---多流集群高并发场景代码演示
写在前面: 我是「nicedays」,一枚喜爱做特效,听音乐,分享技术的大数据开发猿.这名字是来自world order乐队的一首HAVE A NICE DAY.如今,走到现在很多坎坷和不顺,如今终于 ...
2021年大数据Spark（四十九）：Structured Streaming 整合 Kafka
目录整合 Kafka 说明 Kafka特定配置 KafkaSoure 1.消费一个Topic数据 2.消费多个Topic数据 3.消费通配符匹配Topic数据 Kafka ...
Spark Streaming读取Kafka数据的两种方式
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择: spark-streaming-kafka-0-8与spark-s ...
spark streaming运行kafka数据源
一.Kafka准备工作 Kafka的安装,请看另外一文,一定要选择和自己电脑上已经安装的scala版本号一致才可以,本教程安装的Spark版本号是1.6.2,scala版本号是2.10,所以,一定要选 ...
sparkstreaming监听hdfs目录_Spark Streaming消费Kafka数据的两种方案
下午的时候翻微信看到大家在讨论Spark消费Kafka的方式,官网中就有答案,只不过是英文的,当然很多博客也都做了介绍,正好我的收藏夹中有一篇文章供大家参考.文章写的通俗易懂,搭配代码,供大家参考. ...

sparks streaming集成kafka注意要点

sparks streaming集成kafka注意要点相关推荐

最新文章

热门文章