卡夫卡编年史队列基准
总览
最近，我被要求比较《卡夫卡》和《编年史》的性能。 没有两个产品是完全一样的，要进行公平的比较并不容易。 我们可以尝试运行类似的测试，看看会得到什么结果。
该测试基于Apache Kafka性能结果 。
测试使用了什么？
卡夫卡测试的一个方面是多线程性能。 在我们已经完成的测试中，使用更多的线程（取决于您拥有的CPU数量）并不好坏。 我们没有在这里进行基准测试。 所有测试都使用一个生产者。
另一个区别是，我们按时间而不是按计数定期刷新到磁盘。 能够说自己永远不会落后X毫秒通常比说600条消息更有用，因为您不知道这些消息可能在那里等待了多长时间。 对于我们的测试，我们看一下1 ms到10 ms之间的刷新周期。 在Kafka的测试中，它们似乎大约每3毫秒一次。
在每种情况下，使用的消息大小均为200字节，我们探讨了一次写入1、2、5和10条消息的区别。 我们还分批尝试了200条消息，其性能类似于10条消息。
我们仅测试了写入SSD磁盘的持久性。 注意：编年史是没有经纪人的。
结果
该测试的结果显示了以MB / s为单位的消息速率。 这是描述性能的合理方法，因为消息大小可能会有所不同，但是您将获得类似的带宽，尤其是消息大小超过1 KB时。
| 设备 | 冲洗周期（毫秒） | 1个 | 2 | 5 | 10 |
| ssd.ext4 | 1个 | 236 MB /秒 | 300 MB /秒 | 340 MB /秒 | 363 MB /秒 |
| ssd.ext4 | 3 | 378 MB /秒 | 483 MB /秒 | 556 MB /秒 | 583 MB /秒 |
| ssd.ext4 | 10 | 495 MB /秒 | 595 MB /秒 | 687 MB /秒 | 705 MB /秒 |
| tmpfs | 呐 | 988 MB /秒 | 1317 MB /秒 | 1680 MB /秒 | 1847 MB /秒 |
我们还测试了“写入” tmpfs文件系统。 由于没有执行对设备的实际写入，因此速度更快。
结论
无法与Kafka进行直接比较，因为它是基于代理的系统，因为必须通过TCP发送任何消息。 编年史可以通过TCP复制，但是不是必须的，如果要最大化性能，您将使用高速网络，最快的是服务器的内存总线。
您可以运行类似的测试并获得出色的结果。 如果您需要处理数百MB / s的突发数据，则Chronicle可能是更好的解决方案。
翻译自: https://www.javacodegeeks.com/2014/10/kafka-benchmark-on-chronicle-queue.html
卡夫卡编年史队列基准相关推荐
- 卡夫卡队列_卡夫卡编年史队列基准
卡夫卡队列 总览 最近,我被要求比较<卡夫卡>和<编年史>的性能. 没有两个产品是完全一样的,要进行公平的比较并不容易. 我们可以尝试运行类似的测试,看看我们得到了什么结果. ...
- 卡夫卡如何分区_通过分区在卡夫卡实现订单担保人
卡夫卡如何分区 Kafka最重要的功能之一是实现消息的负载平衡,并保证分布式集群中的排序,否则在传统队列中是不可能的. 首先让我们尝试了解问题陈述 让我们假设我们有一个主题,其中发送消息,并且有一个消 ...
- Kafka卡夫卡详解
Kafka卡夫卡详解 Kafka设计方式 Topics Producers Consumers 参考:https://www.cnblogs.com/shijiaoyun/p/4860734.html ...
- 卡夫卡 it_解决我怪异的卡夫卡再平衡问题
卡夫卡 it Imagine working on your Kafka Streams application. You deploy it to Kubernetes, wait a few ho ...
- flink 卡夫卡_卡夫卡–一次语义学
flink 卡夫卡 在分布式环境中,故障是很常见的情况,可以随时发生. 在Kafka环境中,代理可能崩溃,网络故障,处理故障,发布消息时失败或无法使用消息等.这些不同的场景引入了不同类型的数据丢失和重 ...
- 理解卡夫卡的初学者指南
目录 介绍 数据系统组成 卡夫卡体系结构 关键组件和相关术语 Zookeeper 卡夫卡内部构件 Windows上的Kafka设置 先决条件 安装文件 执行 参考资料 这是数字时代.到处都是数据,这段 ...
- 【卡夫卡的岛上书店】：一个利用 vuepress 的主题 vuepress-theme-reco 以及 vuepress-theme-vdoing 搭建自己的静态博客
说明 主题是用了vuepress-theme-reco@1.6.1 以及vuepress-theme-vdoing@1.7.2,自己在此基础上进行了两款主题的融合,以及部分功能的改造.个性化的功能开发 ...
- 卡夫卡详解_卡夫卡概念
卡夫卡详解 Apache Kafka is an open-source distributed event streaming platform used by thousands of compa ...
- 卡夫卡的基础知识以及概念
卡夫卡配置 https://www.cnblogs.com/shijiaoyun/p/4860734.html 卡夫卡配置说明 https://www.cnblogs.com/rilley/p/539 ...
最新文章
- vi/vim 删除：一行, 一个字符, 单词, 每行第一个字符 命令
- python3 ssl.CertificateError: hostname manifest.googlevideo.com doesn t match either
- Java递归基础案例-回文字符串的判断
- JavaScript内置对象Date----格式化时间
- php接收get参数false是字符串,php解析url (parse_url) 参数成数组 (parse_str)
- 替换元素节点replaceChild()
- 【网络流24题】【LOJ6224】深海机器人问题（最大费用最大流）
- python3.7.2安装pywifi_在Win10中安装pywifi包
- SilverLight幻灯片
- 奇舞周刊第 444 期：浅谈文档的实时协同编辑
- 实现Pow(x,n),报错超出最大堆栈Maximum stack exceeded 以及 Math.floor用法（记录走过的坑）
- Jupyter Notebook 自动生成目录（超级实用）
- cocoa 键值观察依赖键（KVO）--笔录
- 电脑开飞行模式为什么还可以上网？
- 今天来和大家一起分享一下好玩的游戏---美国农场主
- hypermesh 连接单元_HRS连接器U.FL-R-SMT-1(10)插座样图查询
- KeyUp 和KeyDown 、KeyPress之间的区别
- 教会微信：突破文件发送100M限制
- MSP430C语言编程技巧,如何提高MSP430 C语言编程效率
- 破解路由器基于MAC地址过滤策略的方法