20210203_flink学习笔记

一、flink理论知识
flink:流式处理无界和有界数据的处理引擎
lambda:也是流处理，架构不同。已淘汰
Storm:是无状态流处理器（即它不能定义和维护状态）
trident:
Spark Streaming:遇到了吞吐量和延迟性难两全的问题
Storm ==> trident ==> spark Streaming(微批次流) ==> flink(真流式) #flink 发展

Dispacher:分发器
jobmanager:任务及调度分配管理，人工提交任务
taskmanager:任务执行者，程序资源使用。包含一个或者多个slots(并行计算)。
resource manager:资源管理器

二、安装与配置
flink也可以链接数据库读取数据，加工后再写入数据库
flink有网页查看job任务运行情况，也可以提交job

start-cluster.sh #启动flink服务
stop-cluster.sh #停止flink服务

三、flink命令使用
flink list #查看提交的任务
flink list -a #查看提交的任务详情
flink cancel job_id #取消提交的任务

20210203_flink学习笔记相关推荐

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解发布: 2017年8月4日 7,195阅读 ...
容器云原生DevOps学习笔记——第三期：从零搭建CI/CD系统标准化交付流程
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
容器云原生DevOps学习笔记——第二期：如何快速高质量的应用容器化迁移
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
2020年Yann Lecun深度学习笔记（下）
2020年Yann Lecun深度学习笔记(下)
2020年Yann Lecun深度学习笔记（上）
2020年Yann Lecun深度学习笔记(上)
知识图谱学习笔记（1）
知识图谱学习笔记第一部分,包含RDF介绍,以及Jena RDF API使用知识图谱的基石:RDF RDF(Resource Description Framework),即资源描述框架,其本质是一个 ...
计算机基础知识第十讲,计算机文化基础（第十讲）学习笔记
计算机文化基础(第十讲)学习笔记采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
Go 学习推荐 —（Go by example 中文版、Go 构建 Web 应用、Go 学习笔记、Golang常见错误、Go 语言四十二章经、Go 语言高级编程）
Go by example 中文版 Go 构建 Web 应用 Go 学习笔记:无痕 Go 标准库中文文档 Golang开发新手常犯的50个错误 50 Shades of Go: Traps, Gotc ...
MongoDB学习笔记(入门)
MongoDB学习笔记(入门) 一.文档的注意事项: 1. 键值对是有序的,如:{ "name" : "stephen", "genda" ...

20210203_flink学习笔记

20210203_flink学习笔记相关推荐

最新文章

热门文章