Amazon Kinesis简介

Amazon Kinesis是提供流式计算的云服务。

Architecture架构：

producer_a Kinesis Application 1 -> Amazon S3

producer_b -> Amazon Kinesis ->

... Kinesis Application 2 -> DynamoDB

producer_x

Terms:

1 Data Record

数据单元，存储在Amazon Kinesis Stream，由序列号，分区键和data blob组成，data blob最大为50KB。

2 Stream

是一个有序的data records序列。

3 Shard

是在Stream中唯一的可识别的data record集合。每个shard支持5个reads per second或者2MB read per second。1000个writes per second或者1MB write per second。所以Stream的处理能力就是根据shard数量算出来的。

4 Partition Key

不同的data records就是根据这个键来决定进入哪个Shard的。

5 Sequence Number

当客户端调用client.putRecord时，Kinesis会根据partition key来决定是哪个shard，然后分配这个shard的当前序列号加一，注意这个序列号是在shard中唯一的，递增的。

6 Amazon Kinesis Application

这个就是消费者，输入就是读取Shard中的data records。输出可以放入S3，也可以放入DynamoDB，还可以继续向另一个Kinesis产生新的data records。

决定你的Kinesis需要多少个Shards?

number_of_shards = max(incoming_write_bandwidth_in_KB/1000, outgoing_read_bandwidth_in_KB/2000)
incoming_write_bandwidth_in_KB = average_data_size_in_KB multiplied by the number_of_transactions_per_seconds. outgoing_read_bandwidth_in_KB = incoming_write_bandwidth_in_KB multiplied by the number_of_consumers.

原文:http://blog.csdn.net/hongchangfirst/article/details/54406912

作者:hongchangfirst

hongchangfirst的主页:http://blog.csdn.net/hongchangfirst

Amazon Kinesis简介相关推荐

分布式键值系统Amazon Dynamo简介
分布式键值系统Amazon Dynamo简介 Dynamo采用的技术虚拟节点 Gossip协议 NRW Vector Clock 读写流程参考链接 Dynamo采用的技术问题采用的技术数据分 ...
Amazon Simple Storage Service (Amazon S3) 简介
Amazon Simple Storage Service (Amazon S3) 接下来要介绍的是如何将先前的应用程序从 EC2 搬移到更轻量的 Container 里,但在介绍 Container ...
Amazon S3简介
目录文献参考: 存储桶对象键区域 S3数据一致性模型存储类别存储桶策略 AWS Identity and Access Management 操作创建请求 AWS 账户访问密钥 IAM ...
Amazon Kinesis
Amazon Kinesis 实时轻松收集.处理和分析视频和数据流 Amazon Kinesis 可让您轻松收集.处理和分析实时流数据,以便您及时获得见解并对新信息快速做出响应.Amazon Kine ...
Amazon CloudFront简介
Amazon CloudFront类似于CDN,提供全球的内容分发服务,它在全球都有很多edge location,使你的客户能最小延迟的拿到数据. 他的原理是这样的,你会配置一个origin,当请求 ...
Amazon S3服务简介及基本概念
Amazon S3介绍什么是Amazon S3? Amazon Simple Storage Service 是互联网存储解决方案.该服务旨在降低开发人员进行网络规模级计算的难度. Amazon S ...
Apache Flink 简介和编程模型
Apache Flink是一个同时支持分布式数据流处理和数据批处理的大数据处理系统. Flink可以表达和执行许多类别的数据处理应用程序,包括实时数据分析,连续数据管道,历史数据处理(批处理)和迭代算 ...
BigData之Storm：Apache Storm的简介、深入理解、下载、案例应用之详细攻略
BigData之Storm:Apache Storm的简介.深入理解.下载.案例应用之详细攻略目录 Apache Storm的简介 Apache Storm的深入理解 1.Storm与hadoop ...
基于Amazon KVS 与 Amazon Rekognition Streaming Video Events实时视频检测方案
前言 1.1 视频识别场景介绍在居家安防监控领域,基于实时视频的移动检测,发现监控环境中人.宠物.包裹等的出现,并且能实时地将检测结果通知给身处任何地方的用户是其重要的应用场景之一.但在这一场景的技 ...

Amazon Kinesis简介

Amazon Kinesis简介相关推荐

最新文章

热门文章