Pravega 学习

原文推荐 https://blog.csdn.net/weixin_34007291/article/details/89089892?utm_medium=distribute.pc_relevant.none-task-blog-OPENSEARCH-4.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-OPENSEARCH-4.nonecase
目前lkappa架构，对历史数据的处理不是很好，
Pravega 的 Stream 可以有无限制的数量并且持久化存储任意长时间，使用同样的 Reader API 提供尾读 (tail read) 和追赶读 (catch-up read) 功能，能够有效满足两种处理方式的统一

对于开发者而言，只需要关心Stream抽象的读写客户端的操作。实时处理和批处理不再区分对数据访问方式。
数据仅在第一层存储有三份拷贝，在第二层存储则可以通过商业分布式/云存储自身拥有的高可用、分布式数据恢复机制（如Erasure Coding）进一步降低存储系数，达到比公有云存储更便宜的总拥有成本(TCO)。
所有的存储组件归结为统一的Pravega，组件仅包括Apache ZooKeeper，Apache BookKeeper以及可托管的第二层存储，运维复杂程度大大降低。Pravega还提供了额外的“零运维”自动弹性伸缩特性，进一步减轻了数据高峰期的运维压力。

Kafka 消息队列 ，消息系统是消息的传输系统，关注的是数据传输与生产消费的过程Pravega 存储系统  分布式流存储产品，除了满足流的属性之外，还需要满足数据存储的持久化、安全、可靠性、一致性、隔离等属性，关注数据的生产、传输、存放、访问等整个数据的生命周期

Pravega 学习相关推荐

流处理系统(Flink, Kafka和Pravega)学习笔记
本文记录一下我比较感兴趣的实时流处理方面的知识,从计算Flink,到存储Pravega,再到消息中间件Kafka,理论知识四大方面学习.如有错误请在评论区指正.实时更新~ 理论知识有状态的流计算无 ...
开源Pravega架构解析：如何通过分层解决流存储的三大挑战？
当前的大数据处理系统无论是何种架构都面临一个共同的问题,即:"计算是原生的流计算,而存储却不是原生的流存储" .Pravega 团队重新思考了这一基本的数据处理和存储规则,为这一场 ...
为什么说Pravega是流处理统一批处理的最后一块拼图？
工业物联网,车联网和实时欺诈风控的需求正在飞速的发展.越来越多的企业新应用,需要的是快速响应客户需求,并同时学习和适应不断变化的行为模式.同时随着5G网络.容器云.高性能存储硬件水平的不断提高,让实时 ...
Pravega应用实战：为什么云原生特性对流处理很重要？
云原生(Cloud Native)与Pravega 随着容器技术和云服务的发展,Kubernetes 和云原生运动已大规模地重定义了应用设计和开发的一些方面.云原生是一种基于微服务架构思想.以容器技术 ...
docker学习笔记（四）使用docker搭建环境
参考:汤小洋老师的教学视频 docker学习笔记(一)[docker 介绍.卸载.安装.配置加速] docker学习笔记(二)docker常用命令 docker学习笔记(三)镜像 docker学习笔记 ...
java入门慕路径,Java入门基础知识总结学习教程大全【必看经典】
类型的表达式,是循环条件,表达式3是党执行了一遍循环之后,修改控制循环的变量值. ??? for语句的执行过程是这样的:首先计算表达式1,完成必要的初始化工作:然后判断表达式2的值,如果表达式的值为t ...
Java EE学习心得
–Java EE学习心得 1. 称为编程专家的秘诀是: 思考-----编程--------思考------编程--.. 编程不能一步到位,不能一上来就编,必须先思考如何写,怎样写?然后再编程 ...
FastAI 2019课程学习笔记 lesson 2：自行获取数据并创建分类器
文章目录数据获取 google_images_download 的安装和使用挂载google 个人硬盘到Google colab中删除不能打开文件创建ImageDataBunch 训练模型解 ...
FastAI 课程学习笔记 lesson 1：宠物图片分类
文章目录代码解析神奇的"%" 导入fastAI 库下载解压数据集 untar_data 获取帮助文档 help() ? ?? doc 设置路径 get_image_files ...

Pravega 学习

Pravega 学习相关推荐

最新文章

热门文章