阿里云Blink介绍
阿里云Blink产品介绍
产品公告
2021年4月28日-独享模式暂停新购
实时计算Flink版独享模式已于2021年4月28日暂停新购,目前仅支持原有项目的扩缩容和续费操作。如果您有新购需求,推荐使用实时计算Flink全托管。
产品概述
阿里云实时计算Flink版独享/共享集群(原产品线)支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充,具备更加丰富的功能。
共享模式(已停购)
不同用户共享计算集群的物理资源(网络、磁盘、CPU或内存等),通过账号管理、CGroup(Control Groups)等方式进行资源隔离和安全管理。基于账号安全、业务安全和数据安全方面的考虑,共享模式不提供自定义函数功能。
说明 实时计算共享模式已于2019年12月24日正式下线,不再支持共享模式新项目的购买,仅支持原有项目的扩缩容、续费操作。如果您有新购需求,推荐使用实时计算独享模式或Flink半托管模式。
独享模式
独享模式是指在阿里云云服务器ECS(Elastic Compute Service)上单独为用户创建的独立计算集群。单个用户独享计算集群的物理资源(网络、磁盘、CPU或内存等),与其它用户的资源完全独立。与共享模式相比,独享模式具有以下优点:
- 多种硬件均可适配
- 用户间的隔离
- 支持自定义函数
- 丰富的功能
独享模式系统网络架构
实时计算独享模式为全托管模式。
发展历程
阿里云实时计算在原有Flink系统基础上,提供一整套的开发平台和完整的流式数据处理业务流程。
- 起源:脱胎于双十一实时大屏业务
- 萌芽:以开源Flink作为基础
- 发展:基于Flink的API开发
- 成熟:Flink SQL开发完成
业务流程
业务流程简介
实时计算业务流程系统架构图如下。
数据采集
广义的实时数据采集,是指使用流式数据采集工具,将数据实时地采集并传输到大数据Pub/Sub(发布订阅)系统。Pub/Sub系统将为下游实时计算提供源源不断的事件源,触发流式计算作业的运行。阿里云大数据生态提供了针对不同场景领域的流式数据Pub/Sub系统。阿里云实时计算天然集成上图中诸多的Pub/Sub系统,能够集成各类流式数据。
说明 例如,您可以直接使用实时计算对接日志服务(LogService)的LogHub系统,快速的集成并使用ECS日志。
流式计算
流数据作为实时计算的触发源,驱动实时计算运行。一个实时计算作业至少使用一个流数据作为数据源。对于复杂的业务场景,实时计算支持和静态数据存储进行关联查询。
说明 例如,针对DataHub流式数据,实时计算可以根据流式数据的主键,和RDS中数据进行关联查询(即JOIN查询)。
实时集成
阿里云实时计算可以将计算的结果数据直接写入目的数据存储。阿里云实时计算天然集成了OLTP(例如RDS)、NoSQL(例如OTS)、OLAP(例如ADB)、MessageQueue(例如DataHub、ONS)、MassiveStorage(例如OSS、MaxCompute)等阿里云生态系统,最大程度地降低全链路数据的时延和数据链路的复杂度,保证数据加工的实时性。
数据消费
流式计算的结果数据进入各类数据存储后,您可以运用个性化的应用,操控结果数据。例如使用数据存储系统访问数据,使用消息投递系统接受信息,或使用告警系统生成异常结果数据警报。
数据链路
部分阿里云生态外部数据存储不能和实时计算系统完全匹配,需要使用其它类型流数据进行转换。
DataHub
DataHub提供了多类数据(如日志、数据库BinLog、IoT数据流等)上传到DataHub的工具、界面,以及开源、商业软件的集成。
LogService
日志服务(LogService)是针对日志类数据的一站式服务。LogService提供了诸多针对日志的采集、消费、投递、查询分析等功能。
IoTHub
阿里云物联网平台(IoTHub)是能够帮助开发者搭建安全的数据通道,方便终端(如传感器、执行器、嵌入式设备或智能家电等等)和云端的双向通信。使用IoTHub规则引擎,可以将IoT数据方便投递到DataHub,并利用实时计算和MaxCompute进行数据加工计算。
DTS
数据传输(DTS)支持以数据库为核心的结构化存储产品之间的数据传输。DTS是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。使用DTS的数据传输功能,可以方便您将RDS等BinLog解析并投递到DataHub,并利用实时计算和MaxCompute进行数据加工计算。
MQ
阿里云MQ服务是一套完整的消息云服务。阿里云MQ服务基于高可用分布式集群技术,搭建了包括发布订阅、消息轨迹、资源统计、定时(延时)、监控报警等功能。
支持的上下游存储
实时计算支持丰富的上下游生态。
- 数据源表
- 创建Oracle数据库源表
- 创建数据总线DataHub源表
- 创建日志服务SLS源表
- 创建交互式分析Hologres源表
- 创建消息队列MQ源表
- 创建消息队列Kafka源表
- 创建表格存储Tablestore源表
- 创建全量MaxCompute源表
- 创建增量MaxCompute源表
- 数据结果表
- 创建云原生数据仓库AnalyticDB MySQL版2.0结果表
- 创建交互式分析Hologres结果表
- 创建Oracle数据库结果表
- 创建数据总线DataHub结果表
- 创建日志服务SLS结果表
- 创建消息队列MQ结果表
- 创建表格存储Tablestore结果表
- 创建云数据库RDS版结果表
- 创建MaxCompute结果表
- 创建云数据库HBase版结果表
- 创建Elasticsearch结果表
- 创建时序数据库结果表
- 创建消息队列Kafka结果表
- 创建云数据库HybridDB for MySQL结果表
- 创建云数据库RDS SQL Server版结果表
- 创建云数据库Redis版结果表
- 创建云数据库MongoDB版结果表
- 创建云原生数据仓库AnalyticDB MySQL版3.0结果表
- 创建分析型数据库PostgreSQL版结果表
- 创建自定义结果表
- 创建InfluxDB结果表
- 创建Phoenix5结果表
- 数据维表
- 创建交互式分析Hologres维表
- 创建表格存储Tablestore维表
- 创建云数据库RDS版维表
- 创建云数据库HBase版维表
- 创建MaxCompute维表
- 创建云数据库Redis维表
- 创建Phoenix5维表
- 创建分析型数据库MySQL版3.0维表
- 创建Elasticsearch维表
使用限制
CU处理能力
实时计算当前在内部压测场景下,一个CU的处理能力估算如下:
- 简单业务:例如单流过滤、字符串变换等操作,1CU每秒可以处理10000条数据。
- 复杂业务:例如JOIN、窗口、GROUP BY等操作,1CU每秒可以处理1000到5000条数据。
作业、任务数量限制
实时计算对整个项目(Project)下属的作业、Task版本、IDE打开Task页面数量均有不同限制。包括:
- 单个项目下允许最多创建作业的个数为100。
- 单个项目下允许最多的文件夹的个数为50,层级最大不超过5层。
- 单个项目下允许最多的UDX或JAR个数为50。
- 单个项目下允许最多注册数据存储的个数为50。
- 单个作业允许最多的历史保存版本数为20。
产品定价
计量项
实时计算的基本计量单位为Compute Unit(CU),即计算资源,1CU=1核CPU+4 GB内存。CU对应实时计算底层系统的CPU计算能力。
1个实时计算作业(Job)的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。实时计算1CU的处理能力可以通过以下方式估算:
- 简单业务:1CU每秒可以处理10000条数据。例如,单流过滤、字符串变换等操作。
- 复杂业务:1CU每秒可以处理1000至5000条数据。例如,JOIN、GROUP BY或窗口函数等操作。
说明
- 上述计算能力估值仅限于实时计算内部处理能力,不包括对外数据读取和写入部分。外部数据的读写效率会影响您对实时计算能力的评估,示例如下:
- 如果实时计算需要从日志服务(Log Service)读取数据,但LogService对于请求调用配额(Quota)存在一定限制,则实时计算整体的计算能力将被限制在LogService允许的范围内。
- 如果实时计算引用的RDS数据存储存在连接数或者TPS限制,则实时计算吞吐能力将受限于RDS本身的流控限制。
- 如果作业中使用窗口函数,CU的使用量会比简单作业高,建议至少购买4CU。
计费方式
注意
- 包年包月到期后请及时续费,如果未及时续费,到期7天后您的实例会被释放。
共享模式(已停购)
说明 实时计算共享模式已于2019年12月24日正式下线。
根据CU数进行计费,每个CU每天的价格是6元人民币。例如,您购买10CU,使用1个月(假设当月天数为30天)的费用为1800元人民币。实时计算共享模式的最小起售单位为2CU每天。
独享模式包年包月(已停购)
说明 独享模式包年包月已于2021年4月28日暂停新购。
独享模式包年包月根据购买的机型及数量进行计费,各机型单价如下。
机型(Master/Slave) | 价格(单位:元/月) |
---|---|
4核16GB | 850 |
8核32GB | 1450 |
16核64GB | 2710 |
24核96GB | 3950 |
32核128GB | 5180 |
56核224GB | 8780 |
64核256GB | 9950 |
规格选择
背景介绍
独享模式集群相当于一个主从分布式集群。整个集群由Master和Slave两部分构成:
- Master:管理整个集群的资源和Slave之间的交互,但不能用于计算。
- Slave:计算节点。
说明 设备间通信以及操作系统需要消耗资源,所以一台Slave的资源并不能全部用于计算。
注意事项
- Slave机型配置决定了您以后的扩容或者缩容的步骤。例如,您的Slave机型是8核32GB,则每次扩容或缩容即增加或减少n台8核32GB的机器,您的可用资源即增加或者减少n个6CU。
- 购买时Master选择三台是为了集群的稳定性,可以做到Master故障时完成主备切换。如果您选择三台Master的配置,阿里云会为您提供服务可用性(SLA)保障。
- Master机型的台数不能进行变更。
规格选择
与共享模式的CU概念(1CU=1核4GB)一样,独享模式配置也可以按照CU的方式进行换算。您可以按照以下计算逻辑,选择出各种机型搭配,实时计算Flink版价格计算器能够为您计算出价格较低的机型配比。
Slave型号以及Master型号和实际可用CU的换算关系经验值如下表:
- 购买Slave机型的最小台数为2,即独享模式最小的实际计算能力为6CU(3CU*2)。
Slave型号 | 实际可用计算CU数 |
---|---|
4核16GB | 3CU |
8核32GB | 6CU |
16核64GB | 13CU |
24核96GB | 21CU |
32核128GB | 28CU |
56核224GB | 52CU |
64核256GB | 60CU |
- Master型号受整体集群CU大小的限制,对应集群最大CU规格经验值如下表。
Master型号 | 集群最大CU规格 |
---|---|
4核16GB | 80CU |
8核32GB | 160CU |
16核64GB | 800CU |
24核96GB | 800CU以上 |
说明 经验值仅供参考。
变配指导
集群变配
您可以调整master型号或slave数量,实现独享集群配置的变更。
- 登录项目管理页面。
- 鼠标悬停至页面右上角账号位置。
- 单击项目管理。
- 在左侧导航栏,单击集群管理 > 集群列表。
- 在集群列表中,单击目标集群操作列下的更多,选择扩容或缩容。
项目变配
- 登录项目管理页面。
- 鼠标悬停至页面右上角账号位置。
- 单击项目管理。
- 在左侧导航栏,单击集群管理 > 项目列表。
- 变更资源配置:
- 在项目列表中,单击目标项目操作列下的扩/缩容。
- 在项目扩容/缩容窗口,设置CU数。
- 单击确定。
释放集群
完成集群使用后,您可以通过释放独享模式(按量付费)集群的方式,停止计费。本文为您介绍如何释放实时计算集群。
注意
- 集群释放完成后,项目会被删除。如果您再次购买实时计算服务后新建项目,可以导入原有项目的作业。
- 实时计算控制台。
- 鼠标悬停至页面右上角账号位置,单击项目管理。
- 在左导航栏中,单击集群列表。
- 在集群列表页面中,单击目标集群操作列中的释放。
- 单击确认。
阿里云Blink介绍相关推荐
- 阿里研发:核心系统--中间件--阿里云--yunOS介绍
阿里研发:核心系统--中间件--阿里云--yunOS介绍 分类: 1.1 自然科学 1.2.1.1 职业规划 1.3 学习方法 1.1.1 信息技术 1.1.1.1 操作系统OS 1.1.1.2 OS ...
- 对象存储OSS之阿里云OSS介绍及开通
数据.文件存储方式 一般,数据.文件的存储主要有以下几种方式: MySQL 数据(MySQL)+文件(本地IO流) 数据(MySQL)+缓存(Redis)+文件(服务器集群.fastDFS(集群).h ...
- 阿里云中间件是什么-阿里云中间件介绍
阿里云中间件是什么?这其实是一个比较虚的概念.广义的中间件范围很广.起沟通作用的都可以认为是中间件.甚至ODBC这样的东西你也可以认为是中间件. 使用了中间件之后,以前直接连接的前台应用程序和数据库之 ...
- 阿里云 blink 相关错误码问题解决
1.使用阿里云的flink平台是,有时重启任务会有shell cmd的报错信息,错误代码如下: Submit job for the [21] times,last error occurred at ...
- Flink学习笔记-阿里云Blink
因为项目环境限制,流处理引擎只能使用阿里云 Blink3.3.0 版本,翻阅阿里云官网 Blink 和 GitHub Flink 的Blink分支资料,成功构建并运行 Blink 的 DataStre ...
- 阿里云RPA(机器人流程自动化)干货系列之三:阿里云RPA介绍
本文是阿里云RPA(机器人流程自动化)干货系列之三,详细介绍了阿里云RPA的产生背景.技术特点.功能特性.非功能指标以及发展现状等. 一.产生背景 在2011年,随着阿里巴巴集团的各项业务突飞猛进,集 ...
- 【技术认证介绍】阿里云认证介绍
阿里云专业技术认证包含: 阿里云Apsara Clouder技能认证 阿里云助理工程师认证ACA级别(Alibaba Cloud Certified Associate) 阿里云专业工程师认证ACP级 ...
- 阿里云扛把子-阿里云服务器介绍
下面我们就看看阿里云服务器的特点: 丰富的实例类型和多种存储选择 面向各类企业应用场景,云服务器ECS将提供超过30款高性能规格族供您选择.按您的实际业务场景可选择不同配置实例搭配1到17块不同容量的 ...
- 阿里云OSS介绍之一 总体介绍与使用
一年前,参与了在阿里云上部署公司的网站.但是,网站的静态资源(背景图片和JS及css文件较大).在不扩展服务器带宽的情况下,需要一个高带宽静态资源服务器来加载这些静态的资源. 为此,瞄准了阿里云的OS ...
- 阿里云MaxCompute介绍
什么是MaxCompute? 大数据计算服务MaxCompute(原名ODPS)是一种快速.完全托管的EB级数据仓库解决方案. 随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行 ...
最新文章
- 硬盘满了 mysql启不来_MySQL数据库之磁盘已满造成的mysql启动失败问题分享
- 剑指offer:包含min函数的栈 python实现
- python在线编译-在线编译python
- VMC Command Line
- 华为云IoT提出泛在新联接,让万物皆可联
- 这次让我们从字节码文件来重新认识String,文末有两个小小面试题,一起来试一试
- java 执行存储过程报语法错误_为什么我在批处理从Java上执行PostgreSQL上的存储过程时收到错误通知“结果不合理”?...
- stl标准模板库_C ++标准模板库(STL)中的数组及其常用功能
- 第3关:HDFS-JAVA接口之上传文件
- python用户标识符条件_使用sum(if…)或条件语句操作两个数据集,这些语句没有hivehadooppython的公共标识符...
- Retrofit请求数据对错误以及网络异常的处理
- 如何将图片一键重命名按顺序_如何“智慧”地管理文件?(一次付出,终身受益)...
- Flink 1.11 SQL 使用攻略
- 小米路由插件二维码2020_路由器如何禁止抖音、斗鱼、王者荣耀等app联网
- html插入flash时钟,PPT怎么插入Flash时钟显示实时时间?
- JNA模拟复杂的C类型——Java映射char*、int*、float*、double*
- 阿酷三合一版_阿酷插件下载|3dmax阿酷插件下载 v3.2 开源版 - 比克尔下载
- MySQL数据导出:ERROR 1 (HY000) 错误解决
- db2 日期英式写法_英语日期格式
- win10资源管理器经常无响应