Clickhouse特性
1.列式存储
(1) 采用行式存储时,数据在磁盘上的组织结构为:
好处是想查某个人所有的属性时,可以通过一次磁盘查找加顺序读取就可以。但是当想查所有人的年龄时,需要不停的查找,或者全表扫描才行,遍历的很多数据都是不需要的。
(2) 采用列式存储时,数据在磁盘上的组织结构为:
这时想查所有人的年龄只需把年龄那一列拿出来就可以了
(3) 列式储存的好处:
对于列的聚合,计数,求和等统计操作原因优于行式存储。
由于某一列的数据类型都是相同的,针对于数据存储更容易进行数据压缩,每一列选择更优的数据压缩算法,大大提高了数据的压缩比重。
由于数据压缩比更好,一方面节省了磁盘空间,另一方面对于 cache 也有了更大的发挥空间。
2.DBMS功能
几乎覆盖了标准 SQL 的大部分语法,包括 DDL 和 DML,以及配套的各种函数,用户管理及权限管理,数据的备份与恢复。
3.多样化引擎
ClickHouse 和 MySQL 类似,把表级的存储引擎插件化,根据表的不同需求可以设定不同的存储引擎。目前包括合并树、日志、接口和其他四大类 20 多种引擎。
4 高吞吐写入能力
ClickHouse 采用类 LSM Tree
的结构,数据写入后定期在后台 Compaction。通过类 LSM tree的结构,ClickHouse 在数据导入时全部是顺序 append 写,写入后数据段不可更改,在后台compaction 时也是多个段 merge sort 后顺序写回磁盘。顺序写的特性,充分利用了磁盘的吞吐能力,即便在 HDD 上也有着优异的写入性能。
官方公开 benchmark 测试显示能够达到 50MB-200MB/s 的写入吞吐能力,按照每行100Byte 估算,大约相当于 50W-200W 条/s 的写入速度。
5 数据分区与线程级并行
ClickHouse 将数据划分为多个 partition,每个 partition 再进一步划分为多个 indexgranularity(索引粒度),然后通过多个 CPU核心分别处理其中的一部分来实现并行数据处理。在这种设计下,单条 Query 就能利用整机所有 CPU
。极致的并行处理能力,极大的降低了查询延时。
所以,ClickHouse 即使对于大量数据的查询也能够化整为零平行处理。但是有一个弊端就是对于单条查询使用多 cpu,就不利于同时并发多条查询。所以对于高 qps 的查询业务,ClickHouse 并不是强项。
Clickhouse特性相关推荐
- ClickHouse特性及底层存储原理
ClickHouse的特性 ClickHouse是一款MPP架构的列式存储数据库,但MPP和列式存储并不是什么"稀罕"的设计.拥有类似架构的其他数据库产品也有很多,但是为什么偏偏只 ...
- ClickHouse的特性及读写
1 ClickHouse特性 OLAP数据库一般有2个要求:①容量要比关系型数据库大,②在线查询的速度要快.ClickHouse这两点都满足并且还支持标准的sql,支持比较复杂的语句,支持分布式. ...
- ClickHouse的Projection特性在快手的应用
ClickHouse的Projection原理解析 本文是ClickHouse的Projection特性在快手的实际应用 1.ClickHouse在快手OLAP的服务 ClickHouse在快手内部是 ...
- clickhouse大数据分析技术与实战_比Hive快500倍!大数据实时分析领域的黑马
戳蓝字"小强的进阶之路"关注我们哦! 大数据实时分析领域的黑马是ClickHouse一个用于联机分析(OLAP)的列式数据库管理系统(DBMS). clickhouse背景 俄罗斯 ...
- 浅尝Clickhouse
ClickHouse 特性 SQL 支持 支持大部分 SQL 功能. 列式存储,数据压缩: 列式存储能够更加有利于 OLAP 聚合查询,同时也能大大提高数据压缩率. 多核心并行处理 使用多线程和多分片 ...
- ClickHouse快速入门
ClickHouse快速入门 学习目标 1).ClickHouse数据库概述.应用场景OLAP分析技术框架比较 2).ClickHouse 快速入门安装部署.服务启动.基本client使用 3).Cl ...
- ClickHouse 在有赞的实践
分享嘉宾:陈琦(前) 有赞,编辑整理:刘鹏鹏 滴滴出行,出品平台:DataFunTalk 导读:有赞是什么?有赞是一家商家服务公司.致力于成为商家服务领域里最被信任的引领者:并持续做一个Enjoy的组 ...
- 【大数据 OLAP ClickHouse 引擎】ClickHouse 系统架构和存储引擎实现原理 : 为什么 ClickHouse 这么快? Why is ClickHouse so fast?
文章目录 ClickHouse 系统架构和存储引擎实现原理 ClickHouse 简介 ClickHouse 整体架构 & 核心模块 1. Column与Field 2. DataType 3 ...
- 【杂项】2021年年度报告
文章目录 0. 概述 1月 1.1 看书 1.6 花销 1.7 其他 2月 2.1 看书 2.2 看博客 2.3 看学习视频 2.4 看娱乐视频 3月 3.1 看书 3.3 看学习视频 3.4 运动 ...
最新文章
- 怎样增加混凝土粘聚性_改善中低强度等级混凝土粘聚性的方法
- CSipSimple通话记录分组
- python基本语法语句-python 语法基础篇 一
- ASP.NET MVC 2
- 前端学习(1350):用户的增删改查操作7增删改查
- 基于python的文件加密传输_基于python实现文件加密功能
- Data intensive Application (1)
- es6 async函数的基本用法
- 基于python的性能测试工具_基于 Python 的性能测试工具 locust 与 LR 的简单对比[转发]...
- Hadoop公司考试题(基础)
- 《时代三部曲》感悟四
- 最大公约数c语言,C语言求最大公约数代码及解析
- 关于消息队列的一些思考
- 用ps增加照片的气氛--镜头光晕
- 一个数字几个字节_字节跳动安全沙龙闭幕 多位专家解析数字经济业务安全
- 王坤杨第十二周个人学习及生活情况总结
- 前端面试必读,助力秋招!
- AV1 motion filed projection
- 微软 appcenter_带有AppCenter的移动应用程序CI-不错,但可能会更好
- Tracker 服务器源码分析之四:Tracker 类
热门文章
- 计算机系统自动撮合成交的原则,【期货小讲堂】你知道价格优先、时间优先撮合原则嘛?...
- android登陆按钮图片素材,Android精美登录界面设计
- 关于Rosetta的那些事
- 企业微信如何创建微盘共享空间?
- MS SQL 分类汇总参数 grouping(**)=1 rollup cubt
- thinkphp封装短信宝验证码
- 【重磅】CSIG-广东省CVPR 2021论文预交流在线学术报告会来啦! (5月8日)
- java高校后勤报修系统
- 非银金融行业:平安好医生,互联网医疗先行者,打造医疗生态圈闭环-20210106.PDF
- IDEA 的Surround with快捷键 (例:try/catch)