大数据实时处理框架之Flink win10快速部署

2024-05-10 19:35:26

目录

一、依赖环境安装

1、jdk和scala依赖下载

2、flink1.9.0下载

二、环境变量配置

1、FLINK_HOME变量配置

2、将FLINK_HOME\bin变量加入path

三、启动运行flink

1、启动flink

2、访问WEB UI

3、cmd命令行执行flink demo

4、WEB页面上传jar包执行

四、监控 flink JVM使用资源

1、运行 jdk 的 jvisualvm 客户端

五、一键启动脚本

1、win10搭建kafka环境

2、win10搭建flink环境

3、一键启动脚本

一、依赖环境安装

1、jdk和scala依赖下载

jdk1.8：https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

scala12.11：https://www.scala-lang.org/download/

2、flink1.9.0下载

flink官方中文文档：https://flink.apache.org/zh/downloads.html

flink1.9.0安装包：https://archive.apache.org/dist/flink/flink-1.9.0/

二、环境变量配置

1、FLINK_HOME变量配置

2、将FLINK_HOME\bin变量加入path

三、启动运行flink

1、启动flink

打开cmd，执行

start-cluster

2、访问WEB UI

http://localhost:8081

3、cmd命令行执行flink demo

cmd 进入 fink 的 bin 目录

cd %FLINK_HOME%\bin && D:

执行官方 demo wordcount.jar 统计 readme.txt 文件的单词个数，将结果输出到 wordcount.txt 文件

flink run %FLINK_HOME%\examples\batch\WordCount.jar -input %FLINK_HOME%\README.txt --output %FLINK_HOME%\wordcount.txt

4、WEB页面上传jar包执行

点击 Add New 上传本地 jar 包

上传之后点击 submit 提交

四、监控 flink JVM使用资源

1、运行 jdk 的 jvisualvm 客户端

进入jdk bin目录下执行 jvisualvm.exe

选择 org.apache.flink.runtime.taskexecutor.TaskManagerRunner，点击监视查看TaskManager进程的资源利用

其他运行在JVM的任务也可以在 Java VisualVM 客户端下查看

五、一键启动脚本

1、win10搭建kafka环境

https://blog.csdn.net/qq262593421/article/details/109327420

2、win10搭建flink环境

https://blog.csdn.net/qq262593421/article/details/109365896

3、一键启动脚本

start-all.cmd

start %KAFKA_HOME%\bin\windows\zookeeper-server-start %KAFKA_HOME%\config\zookeeper.properties
start %KAFKA_HOME%\bin\windows\kafka-server-start %KAFKA_HOME%\config\server.properties
start %FLINK_HOME%\bin\start-cluster

执行此脚本可以多窗口同时启动 kafka flink

Flink本地模式Linux安装：https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh//docs/try-flink/local_installation/

大数据实时处理框架之Flink win10快速部署相关推荐

新代大数据计算框架Apache Flink
大数据计算框架的发展最近几年,出现了很多热门的开源社区,其中注明的Hadoop Storm,以及很热门的Spark, 它们有着各自专注的应用场景.Spar掀开了内存计算的先河,也以内为基础,赢得了内 ...
Flink大数据计算框架
大数据计算框架--Flink 什么是Flink 为什么选择Flink(优点.特性) 同时支持高吞吐.低延迟.高性能支持事件时间(Event Time)概念支持有状态计算支持高度灵活的窗口(win ...
【2017年第4期】流式大数据实时处理技术、平台及应用
陈纯浙江大学计算机科学与技术学院,浙江杭州 310058 摘要:大数据处理系统根据其时效性可分为批式大数据和流式大数据两类.上述两类系统均无法满足"事中"感知查询分析处理模式的 ...
全面认识当前市面99%的大数据技术框架（附:各大厂大数据技术应用文章）
目录大数据领域分析系统平台集群管理与监控文件系统资源调度协调框架数据存储数据处理数据查询和分析数据收集消息系统任务调度数据治理数据可视化云平台大数据必知点大厂应用实践 ...
全面解析流式大数据实时处理技术、平台及应用
一. 引言大数据技术的广泛应用使其成为引领众多行业技术进步.促进效益增长的关键支撑技术.根据数据处理的时效性,大数据处理系统可分为批式(batch)大数据和流式(streaming)大数据两类.其中 ...
大数据计算框架及引擎介绍
一.大数据处理框架主流的大数据处理框架包括以下三类五种: 1.仅批处理框架:Apache Hadoop 2.仅流处理框架:Apache Storm.Apache Samza 3.混合框架:Apach ...
大数据开源框架技术汇总
主要基于对现阶段一些常用的大数据开源框架技术的整理,只是一些简单的介绍,并不是详细技术梳理.可能会有疏漏,发现再整理.参考得太多,就不一一列出来了.这只是作为一个梳理,对以后选型或者扩展的做个参考. ...
大数据计算框架期末复习
1. 下面哪个不是Linux发行版本 (D) A. Ubuntu B. Centos C. RedHat Enterprise Linux D. Mac 6.web方式查看hdfs目录结构 ...
大数据计算框架与平台--深入浅出分析
http://mp.weixin.qq.com/s/s2DnbgieeQockaLKdZDCzA?utm_source=tuicool&utm_medium=referral 1. 前言计算 ...

最新文章

热门文章