阿里云StreamCompute流计算架构
下图为阿里云流计算全流程系统架构，主要包含：数据采集，流数据，流计算，数据源，数据消费这些过程。
- 数据采集
用户可以使用流式数据采集工具将数据流式且实时地采集并传输到大数据Pub/Sub系统，该系统将为下游流计算提供源源不断的事件源去触发流式计算作业的运行。
阿里云大数据生态中提供了诸多针对不同场景领域的流式数据Pub/Sub系统，以方便用户可以集成各类流式数据存储系统。
- 流数据
流数据作为流计算的触发源驱动流计算运行。
一个流计算作业必须至少使用一个流数据作为数据源头。
流数据的承载方式包括：DataHub,LogService,IOTHub,DTS,MQ等。其中针对XX的业务场景，DataHub流数据处理平台作为数据源头比较适合，但是数据写入DataHub私有云提供方目前无自动化的采集工具可以使用，需要开发力量额外编写Java代码进行写入。
- 流式计算
流式计算可将源头流数据实时计算处理。
阿里云流计算支持针对多条数据流使用BlinkSQL进行关联操作。
流式计算大部分计算逻辑均在StreamCompute流计算平台内编写统计、计算SQL完成，再之后以运维任务的方式启动并长期在线运行。
- 结果数据集成至数据源
为尽可能减少数据处理时延，同时减少数据链路复杂度。
阿里云流计算将计算的结果数据可不经其他过程直接写入目的数据存储，从而最大程度降低全链路数据时延，保证数据加工的新鲜度。
阿里云流计算集成了OLTP(RDS产品线等)、NoSQL(OTS等)、OLAP(ADS等)、MessageQueue(DataHub、ONS等)、MassiveStorage(OSS、MaxCompute等)。
之前的测试中，我们使用ADS分析型数据库作为结果计算数据的存储。
- 数据消费
流式计算的结果数据进入各类数据存储后，用户可以使用各类个性化的应用消费结果数据，也可以将计算结果用于数据展示系统。
阿里云StreamCompute流计算架构相关推荐
- 首次公开，阿里云开源PolarDB总体架构和企业级特性
简介:在3月2日的阿里云开源 PolarDB 企业级架构发布会上,阿里云 PolarDB 内核技术专家北侠带来了主题为<PolarDB 总体架构设计和企业级特性>的精彩演讲. 在3月2日的 ...
- 阿里云科学家入选计算机顶会 HPCA 名人堂，他是什么来头？
受访者 | 蒋晓维,阿里云基础设施服务器研发团队科学家 记者 | 夕颜 出品 | CSDN(ID:CSDNnews) AI 技术生态论」 人物访谈栏目是 CSDN 发起的百万人学 AI 倡议下的重要组 ...
- 阿里云飞天技术总架构师唐洪：飞天技术与应用
一年一度的阿里技术论坛(Alibaba Technology Forum)已走进第7个年头,4月15日,阿里众多技术领军人走进清华校园.通过特设的三大技术论坛,参会人员近距离接触了阿里巴巴在云计算.大 ...
- 阿里云科学家入选计算机顶会HPCA名人堂，他是什么来头？
记者 | 夕颜 出品 | CSDN(ID:CSDNnews) 近日,由 IEEE 主办的高性能计算架构国际研讨会 HPCA 公布了最新一期名人堂(Hall of Fame)名单,来自阿里云基础设施服务 ...
- 详细解读阿里云开源PolarDB总体架构和企业级特性
在3月2日的阿里云开源 PolarDB 企业级架构发布会上,阿里云 PolarDB 内核技术专家 北侠带来了主题为<PolarDB 总体架构设计和企业级特性>的精彩演讲.主要分享了存储计算 ...
- 2021云栖大会丨阿里云发布第四代神龙架构，提供业界首个大规模弹性RDMA加速能力
简介:10月20日,2021年杭州栖大云会上,阿里云发布第四代神龙架构,升级至全新的eRMDA网络架构,是业界首个大规模弹性RDMA加速能力. 10月20日,2021年杭州栖大云会上,阿里云发布第四代 ...
- 因云而生，全新视角看阿里云服务器硬件方升架构
简介:方升架构作为新一代云服务器架构的典范,是阿里云云原生基础设施的最佳实践之一.阿里云结合云计算丰富业务场景需求,推出一系列自研服务器产品.部件及解决方案,包括高性能计算全栈解决方案.高性能存储和大 ...
- 深入剖析阿里云推荐引擎——新架构，新体验
摘要:本文的整理自2017云栖大会-上海峰会上阿里云算法专家郑重(卢梭)的分享讲义,从2016年2月V2.0公开使用到现在,阿里云推荐引擎有了更大的进步.有着获取排序的在线计算,修正匹配的近线计算及匹 ...
- 因云而生 全新视角看阿里云服务器硬件方升架构
简介: 方升架构作为新一代云服务器架构的典范,是阿里云云原生基础设施的最佳实践之一.阿里云结合云计算丰富业务场景需求,推出一系列自研服务器产品.部件及解决方案,包括高性能计算全栈解决方案.高性能存储和 ...
最新文章
- Pytorch可视化工具tensorboardX（安装不踩坑）
- LeetCode Super Ugly Number
- pickle模块介绍
- Spring TX源码分析
- Web服务器超时处理
- LeetCode 105. Construct Binary Tree from Preorder and Inorder Traversal 由前序和中序遍历建立二叉树 C++...
- 使用对称加密来加密Spring Cloud Config配置文件
- 联合国超10万名员工记录遭泄露
- matlab图像处理Lena大作业
- Android蓝牙完全学习手册
- 如何查html病毒svchost.exe,svchost是什么？怎样清除svchost.exe病毒？
- android远程输入法,远程输入法
- 算法提高 素数环 java 题解 977
- 钉钉、企业微信平台发送工资条程序－－燕春科技工资条管理系统2.0
- 谷歌面试题-单位换算
- 常见C++开源网站项目
- Unity3D 射击游戏练习实例
- 大华摄像头实现web端实时播放以及录像回放
- 医院信息集成平台现状总结
- 二十三 HDP搭建大数据环境