1.列式存储

(1) 采用行式存储时,数据在磁盘上的组织结构为:

好处是想查某个人所有的属性时,可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时,需要不停的查找,或者全表扫描才行,遍历的很多数据都是不需要的。

(2) 采用列式存储时,数据在磁盘上的组织结构为:

这时想查所有人的年龄只需把年龄那一列拿出来就可以了

(3) 列式储存的好处:

对于列的聚合,计数,求和等统计操作原因优于行式存储。
由于某一列的数据类型都是相同的,针对于数据存储更容易进行数据压缩,每一列选择更优的数据压缩算法,大大提高了数据的压缩比重。
由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于 cache 也有了更大的发挥空间。

2.DBMS功能

几乎覆盖了标准 SQL 的大部分语法,包括 DDL 和 DML,以及配套的各种函数,用户管理及权限管理,数据的备份与恢复。

3.多样化引擎

ClickHouse 和 MySQL 类似,把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类 20 多种引擎。

4 高吞吐写入能力

ClickHouse 采用类 LSM Tree的结构,数据写入后定期在后台 Compaction。通过类 LSM tree的结构,ClickHouse 在数据导入时全部是顺序 append 写,写入后数据段不可更改,在后台compaction 时也是多个段 merge sort 后顺序写回磁盘。顺序写的特性,充分利用了磁盘的吞吐能力,即便在 HDD 上也有着优异的写入性能。

官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力,按照每行100Byte 估算,大约相当于 50W-200W 条/s 的写入速度。

5 数据分区与线程级并行

ClickHouse 将数据划分为多个 partition,每个 partition 再进一步划分为多个 indexgranularity(索引粒度),然后通过多个 CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下,单条 Query 就能利用整机所有 CPU。极致的并行处理能力,极大的降低了查询延时。

所以,ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多 cpu,就不利于同时并发多条查询。所以对于高 qps 的查询业务,ClickHouse 并不是强项。

Clickhouse特性相关推荐

  1. ClickHouse特性及底层存储原理

    ClickHouse的特性 ClickHouse是一款MPP架构的列式存储数据库,但MPP和列式存储并不是什么"稀罕"的设计.拥有类似架构的其他数据库产品也有很多,但是为什么偏偏只 ...

  2. ClickHouse的特性及读写

    1 ClickHouse特性   OLAP数据库一般有2个要求:①容量要比关系型数据库大,②在线查询的速度要快.ClickHouse这两点都满足并且还支持标准的sql,支持比较复杂的语句,支持分布式. ...

  3. ClickHouse的Projection特性在快手的应用

    ClickHouse的Projection原理解析 本文是ClickHouse的Projection特性在快手的实际应用 1.ClickHouse在快手OLAP的服务 ClickHouse在快手内部是 ...

  4. clickhouse大数据分析技术与实战_比Hive快500倍!大数据实时分析领域的黑马

    戳蓝字"小强的进阶之路"关注我们哦! 大数据实时分析领域的黑马是ClickHouse一个用于联机分析(OLAP)的列式数据库管理系统(DBMS). clickhouse背景 俄罗斯 ...

  5. 浅尝Clickhouse

    ClickHouse 特性 SQL 支持 支持大部分 SQL 功能. 列式存储,数据压缩: 列式存储能够更加有利于 OLAP 聚合查询,同时也能大大提高数据压缩率. 多核心并行处理 使用多线程和多分片 ...

  6. ClickHouse快速入门

    ClickHouse快速入门 学习目标 1).ClickHouse数据库概述.应用场景OLAP分析技术框架比较 2).ClickHouse 快速入门安装部署.服务启动.基本client使用 3).Cl ...

  7. ClickHouse 在有赞的实践

    分享嘉宾:陈琦(前) 有赞,编辑整理:刘鹏鹏 滴滴出行,出品平台:DataFunTalk 导读:有赞是什么?有赞是一家商家服务公司.致力于成为商家服务领域里最被信任的引领者:并持续做一个Enjoy的组 ...

  8. 【大数据 OLAP ClickHouse 引擎】ClickHouse 系统架构和存储引擎实现原理 : 为什么 ClickHouse 这么快? Why is ClickHouse so fast?

    文章目录 ClickHouse 系统架构和存储引擎实现原理 ClickHouse 简介 ClickHouse 整体架构 & 核心模块 1. Column与Field 2. DataType 3 ...

  9. 【杂项】2021年年度报告

    文章目录 0. 概述 1月 1.1 看书 1.6 花销 1.7 其他 2月 2.1 看书 2.2 看博客 2.3 看学习视频 2.4 看娱乐视频 3月 3.1 看书 3.3 看学习视频 3.4 运动 ...

最新文章

  1. 怎样增加混凝土粘聚性_改善中低强度等级混凝土粘聚性的方法
  2. CSipSimple通话记录分组
  3. python基本语法语句-python 语法基础篇 一
  4. ASP.NET MVC 2
  5. 前端学习(1350):用户的增删改查操作7增删改查
  6. 基于python的文件加密传输_基于python实现文件加密功能
  7. Data intensive Application (1)
  8. es6 async函数的基本用法
  9. 基于python的性能测试工具_基于 Python 的性能测试工具 locust 与 LR 的简单对比[转发]...
  10. Hadoop公司考试题(基础)
  11. 《时代三部曲》感悟四
  12. 最大公约数c语言,C语言求最大公约数代码及解析
  13. 关于消息队列的一些思考
  14. 用ps增加照片的气氛--镜头光晕
  15. 一个数字几个字节_字节跳动安全沙龙闭幕 多位专家解析数字经济业务安全
  16. 王坤杨第十二周个人学习及生活情况总结
  17. 前端面试必读,助力秋招!
  18. AV1 motion filed projection
  19. 微软 appcenter_带有AppCenter的移动应用程序CI-不错,但可能会更好
  20. Tracker 服务器源码分析之四:Tracker 类

热门文章

  1. 计算机系统自动撮合成交的原则,【期货小讲堂】你知道价格优先、时间优先撮合原则嘛?...
  2. android登陆按钮图片素材,Android精美登录界面设计
  3. 关于Rosetta的那些事
  4. 企业微信如何创建微盘共享空间?
  5. MS SQL 分类汇总参数 grouping(**)=1 rollup cubt
  6. thinkphp封装短信宝验证码
  7. 【重磅】CSIG-广东省CVPR 2021论文预交流在线学术报告会来啦! (5月8日)
  8. java高校后勤报修系统
  9. 非银金融行业:平安好医生,互联网医疗先行者,打造医疗生态圈闭环-20210106.PDF
  10. IDEA 的Surround with快捷键 (例:try/catch)