写在前面

本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见100个问题搞定大数据理论体系

解答

事件时间指的是一个数据实际产生的时间点，而处理时间指的是处理数据的系统架构实际接收到这个数据的时间点。

补充

批处理中，通常关心更多的是事件时间。

举个例子，你在每年年初所看到的“支付宝年账单”就是一个数据批处理的典型例子。
支付宝会将我们在过去一年中的消费数据存储起来，并作为批处理输入，提取出过去一年中产生交易的事件时间，然后经过一系列业务逻辑处理，得到各种有趣的信息作为输出。

而流处理中是关心数据的事件时间还是处理时间，将视具体的应用场景而定。

例如，像网页监控系统这样的流处理系统要计算网站的QPS，它所关心的更多是处理时间，也就是网页请求数据被监控系统接收到的时间，从而计算QPS。
而在一些医疗护理监控系统的流处理系统中，他们则更关心数据的事件时间，这种系统不会因为接收到的数据有网络延时，而忽略数据本来产生的时间。

什么是事件时间和处理时间？相关推荐

[Flink]Flink1.3 Stream指南六事件时间与处理时间
Flink在数据流中支持几种不同概念的时间. 1. 处理时间 Processing Time Processing Time(处理时间)是指执行相应操作机器的系统时间(Processing time ...
iceberg-flink 十：flink 窗口，事件时间，处理时间。
flink窗口窗口的开始和结束的时间,是按照服务器当前的时间进行统计的.比如,当前时间为 2023-03-28 16:23 按照五分钟进行开窗.那么当前的开窗就是 2023-03-28 16:20 ...
事件时间/处理时间/进入时间(Event Time / Processing Time / Ingestion Time)
Flink在流处理程序中支持不同的时间概念. 处理时间(processing time):处理时间是指执行相应操作的机器的系统时间. 当流处理程序基于处理时间运行时,所有基于时间的操作(如时间窗口)将 ...
Flink时间【事件时间、摄取时间、处理时间】与水印概述
一.事件时间事件时间是每个事件在其生产者上创建的时间. 该时间通常在它们进入Flink之前嵌入到记录中,并且可以从每个记录中提取事件时间戳.在事件时间中,时间的进度取决于数据,而不取决于任何时钟.事 ...
2021年大数据Spark（五十二）：Structured Streaming 事件时间窗口分析
目录事件时间窗口分析时间概念 event-time 延迟数据处理延迟数据 Watermarking 水位官方案例演示事件 ...
Flink事件时间、水印以及迟到数据处理的个人理解
Flink中的时间概念 Flink在流式传输程序中支持不同的时间概念: ProcessingTime: 处理时间,正在执行操作的机器的时间 EventTime: 事件时间,事件发生的时间 Ingest ...
flink DataStream API（三）事件时间-生成水印
文章目录生成水印水印策略介绍使用水印策略处理空闲源编写 `WatermarkGenerators` 编写周期 WatermarkGenerator 编写标点WatermarkGenerato ...
Structured Streaming系列-6、事件时间窗口分析
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 传送门:大数据系列文章目录官方网址:http://spark.apache.org/. ht ...
【Flink】各种窗口的使用（处理时间窗口、事件时间窗口、窗口聚合窗口）
文章目录一 Flink 中的 Window 1 Window (1)Window概述 (2) Window类型 a 滚动窗口(Tumbling Windows) b 滑动窗口(Sliding Win ...

什么是事件时间和处理时间？

写在前面

解答

补充

什么是事件时间和处理时间？相关推荐

最新文章

热门文章