Flink简介—大数据技术

Flink是什么？

Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算。

国内使用Flink的企业，挺多的

为什么要用Flink？

流数据更加符合生活中数据的真实性
传统的数据架构均是基于有限数据集的
Flink可以实现低延迟、高吞吐、结果的准确性和良好的容错性

哪些行业中需要处理流数据？

电商和市场营销：数据报表、广告投放、业务流程需要
物联网（IOT）：传感器实时数据采集和显示、实时报警，交通运输业
电信业：基站流量调配
银行和金融业：实时结算和通知推送，实时检测异常行为

Flink 的主要特点

事件驱动（Event-driven）

基于流的世界观：在 Flink 的世界观中，一切都是由流组成的，离线数据是有界的流；实时数据是一个没有界限的流：这就是所谓的有界流和无界流
分层API：越顶层越抽象，表达含义越简明，使用越方便；越底层越具体，表达能力越丰富，使用越灵活

支持事件时间（event-time）和处理时间（processing-time）语义
精确一次（exactly-once）的状态一致性保证
低延迟，每秒处理数百万个事件，毫秒级延迟
与众多常用存储系统的连接
高可用，动态扩展，实现7*24小时全天候运行

Flink和Spark Streaming有什么区别？

Flink是流（stream），而Spark Streaming是微批（micro-batching）

• 数据模型：

– spark 采用 RDD 模型，spark streaming 的 DStream 实际上也就是一组组小批

数据 RDD 的集合

– flink 基本数据模型是数据流，以及事件（Event）序列

运行时架构

– spark 是批计算，将 DAG 划分为不同的 stage，一个完成后才可以计算下一个

– flink 是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节

点进行处理

感谢大佬们点赞、关注o(╯□╰)o　

Flink简介—大数据技术相关推荐

大数据技术之Flink理论到项目
转载自:https://www.javaxxz.com/thread-397416-1-1.html 一.Flink简介如今的大数据技术应用场景,对实时性的要求已经越来越高.作为新一代大数据流处理框 ...
Spark大数据技术与应用第一章Spark简介与运行原理
Spark大数据技术与应用第一章Spark简介与运行原理 1.Spark是2009年由马泰·扎哈里亚在美国加州大学伯克利分校的AMPLab实验室开发的子项目,经过开源后捐赠给Aspache软件基金会 ...
大数据技术之 HBase简介
大数据技术之 HBase 第 1 章 HBase 简介 1.1 HBase 定义 HBase 是一种分布式.可扩展.支持海量数据存储的 NoSQL 数据库. 1.2 HBase 数据模型逻辑上,HB ...
水环境模型与大数据技术融合研究
点击上方蓝字关注我们水环境模型与大数据技术融合研究马金锋1, 饶凯锋1, 李若男1,2, 张京1, 郑华1,2 1 中国科学院生态环境研究中心城市与区域生态国家重点实验室,北京 100085 2 ...
干货，主流大数据技术总结
作者:justcodeit 背景数据量不断增加,企业需要灵活快速地处理这些数据. 处理器主频和散热遇到瓶颈,多核处理器成为主流,并行化计算应用不断增加. 开源软件的成功使得大数据技术得以兴起. 互联 ...
大数据入门-大数据技术概述(一)
目录大数据入门系列文章 1.大数据入门-大数据是什么一.概念二.技术详解 1.基础架构:Hadoop 2.分布式文件系统:HDFS 3.数据仓库:Hive 4.存储引擎:Kudu 5.分布式数据 ...
大数据技术之Hadoop概述集群环境搭建常见错误解决等
Hadoop概述文章目录 Hadoop概述 1. Hadoop是什么 2. Hadoop发展历史 4. Hadoop的优势 5. Hadoop组成 6. 大数据技术生态体系 7. 推荐系统框架图略图 ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
2023大数据技术应用的五个主要场景总结
大数据技术应用的几个主要场景:离线处理.实时流处理.交互查询.实时检索和融合数据仓库离线数据处理和分析: 一.离线处理场景:通常是指对海量数据进行分析和处理,形成结果数据,供下一步数据应用使用.离线 ...