当在看Monetdb列存行只支持IMPRINTS和ORDERED这两种索引,且只支持定长数值类型时,就在思考,对于列存,还有必要建索引吗?在PostgreSQL的索引就要灵活很多,我对常用列建合理的索引,是不是能达到列存的效果?(肯定没有)。

当然,有索引还是快很多:

1)对于整型列来说,应该是用ORDERED索引,建类似于btree索引,将数据按大小进行了排序,当执行> = < <= >= between in is等操作时,就非常快了,不需要整个列进行扫描比较。

2)对于字符串呢? 列存对字符串的压缩还是比较给力的,对于特殊的字符串列,还可以用字典的方式来压缩。但是没有索引的话,就只能是进行全列扫描了,效率不可能太高。

一、PostgreSQL数据库的索引类型

1.Btree索引:

B-Tree索引主要用于等于和范围查询,特别是当索引列包含操作符" =和>"作为查询条件时,PostgreSQL的查询规划器都会考虑使用B-Tree索引。在使用BETWEEN、IN、IS NULL和IS NOT NULL的查询。       PostgreSQL也可以使用B-Tree索引。然而对于基于模式匹配操作符的查询,如LIKE、ILIKE、~和 ~*,仅当模式存在一个常量,且该常量位于模式字符串的开头时,如col LIKE 'foo%'或col ~ '^foo',索引才会生效,否则将会执行全表扫描,如:col LIKE '%bar'。

适用于整型、时间类型数据列。

2.Hash索引:

散列(Hash)索引只能处理简单的等于比较。当索引列使用等于操作符进行比较时,查询规划器会考虑使用散列索引。

这里需要额外说明的是,PostgreSQL散列索引的性能不比B-Tree索引强,但是散列索引的尺寸和构造时间则更差。另外,由于散列索引操作目前没有记录WAL日志,因此一旦发生了数据库崩溃,我们将不得不用REINDEX重建散列索引。

适用于字符串数据类型,而字符串一般的操作也是等于判断。

3.GIN索引:

GIN是倒排索引,存储被索引字段的VALUE或VALUE的元素,以及行号的list或tree。主要用于:当需要搜索多值类型内的VALUE时,适合多值类型,例如数组、全文检索、TOKEN。(根据不同的类型,支持相交、包含、大于、在左边、在右边等搜索);

4.GIST索引:

GiST是一个通用的索引接口,可以使用GiST实现b-tree, r-tree等索引结构。一般在地图插件PostGIS中使用,且不同的类型,支持的索引检索也各不一样。例如:

1) 几何类型,支持位置搜索(包含、相交、在上下左右等),按距离排序。

2) 范围类型,支持位置搜索(包含、相交、在左右等)。

3) IP类型,支持位置搜索(包含、相交、在左右等)。

4) 空间类型(PostGIS),支持位置搜索(包含、相交、在上下左右等),按距离排序。

5) 标量类型,支持按距离排序。

还有一些其他比较特殊的索引类型,用的太少了。

二、复合索引,也就是多列索引

一般是针对用户对某个表的查询条件比较固定。这样可以考虑创建多列索引,多列索引中的单个列在被查询时,也可能会走多列索引。但是仅在查询包含多列索引的最左列时,效率最高,最可能走这个多列索引。

1.多列索引检索顺序:

当b+树的数据项是复合的数据结构,比如(name,age,sex)的时候,b+数是按照从左到右的顺序来建立搜索树的,比如当(张三,20,F)这样的数据来检索的时候,b+树会优先比较name来确定下一步的所搜方向,如果name相同再依次比较age和sex,最后得到检索的数据;但当(20,F)这样的没有name的数据来的时候,b+树就不知道下一步该查哪个节点,因为建立搜索树的时候name就是第一个比较因子,必须要先根据name来搜索才能知道下一步去哪里查询。比如当(张三,F)这样的数据来检索时,b+树可以用name来指定搜索方向,但下一个字段age的缺失,所以只能把名字等于张三的数据都找到,然后再匹配性别是F的数据了, 这个是非常重要的性质,即索引的最左匹配特性。

2.多列索引创建原则:

1) 最左前缀匹配原则,非常重要的原则,数据库会一直向右匹配直到遇到范围查询(>、 3 and d = 4 如果建立(a,b,c,d)顺序的索引,d是用不到索引的,如果建立(a,b,d,c)的索引则都可以用到,a,b,d的顺序可以任意调整;以index(a, b, c,d)为例,多列索引的利用情况是:

where a=3 是

where a=3 and b=5 是

where a=3 and b=5 and c=4 是

where b=3 否

where c=4 否

where a=3 and c=4 a列能用到索引,b不能

where a=3 and b>10 and c=7 a能,b能,c不能

where a=3 and b like 'xxx%' and c=7 a能,b能,c不能

2) =和in可以乱序,比如a = 1 and b = 2 and c = 3 建立(a,b,c)索引可以任意顺序,mysql的查询优化器会帮你优化成索引可以识别的形式;

3) 尽量选择区分度高的列作为索引,区分度的公式是count(distinct col)/count(*),表示字段不重复的比例,比例越大我们扫描的记录数越少,唯一键的区分度是1,而一些状态、性别字段可能在大数据面前区分度就是0,那可能有人会问,这个比例有什么经验值吗?使用场景不同,这个值也很难确定,一般需要join的字段我们都要求是0.1以上,即平均1条扫描10条记录;

4) 索引列不能参与计算,保持列“干净”,比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引,原因很简单,b+树中存的都是数据表中的字段值,但进行检索时,需要把所有元素都应用函数才能比较,显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);

5) 尽量的扩展索引,不要新建索引。比如表中已经有a的索引,现在要加(a,b)的索引,那么只需要修改原来的索引即可;

三、条件索引

四、部分索引

五、聚集索引

CLUSTER指示Postgres近似地基于索引indexname的度量对表进行存储建簇.索引必须已经在表上定义了。

当对一个表建簇后,该表的物理存储将基于索引信息进行。建簇是静态的,也就是说,当表被更新后,改变的内容不会建簇。不会试图对更新过的记录重新建簇。如果需要,可以通过手工执行该命令的方法重建簇。

注意:

该表实际上按索引顺序拷贝到了一个临时表中,然后重新改成原名。因此,在建簇时所有赋予的权限和其它索引都将丢失。

如果你只是随机的访问表中的行,那么在堆表中的数据的实际存储顺序是无关紧要的。但是,如果你对某些数据的访问多于其他数据,而且有一个索引将这些数据分组,建蔟会提高查询速度。

另一个很有帮助的例子是当你用索引从一个表中取出几个记录时。如果你从一个表中请求一定索引范围的值,或者是一个索引过的值对应多行,建蔟也会有助于应用,因为如果索引标识出第一匹配行所在的堆存储页,所有其他行也可能已经在同一堆存储页里了,这样便节省了磁盘访问的时间,加速了查询。

有两种建簇方法:

第一种是用CLUSTER命令,此命令将原表按你声明的索引重新排列。这个动作在操作大表时可能会很慢,因为每一行都从堆存储页里按索引顺序取出,如果存储页表没有排序,整个表是随机存放在各个页面的,因而每行都要进行依次磁盘页面操作。虽然PostgreSQL有一个共享存储,但一个大表的主体是不可能都放到缓冲区的,需要经过多次交换。

另一个对数据建簇的方法是用SQL语句:

SELECT columnlist INTO TABLE newtable FROM table ORDER BY columnlist

这个用法使用排序的代码ORDER BY来匹配索引,在对未排序的数据操作时速度快得多。然后你可以删除旧表,用ALTER TABLE/RENAME将newtable改成旧表名,并且重建所有索引。唯一的问题是OID不保留。这时再做聚集将快得多,因为大多数堆栈数据已经排过序了而且使用现有的索引,当然也可以不做聚集了。

部分参考:

http://www.cnblogs.com/stephen-liu74/archive/2012/05/09/2298182.html

postgresql 索引状态_PostgreSQL索引思考相关推荐

  1. postgresql 索引状态_PostgreSQL中的锁:3.其他锁

    我们已经讨论了一些对象级锁(特别是关系级锁),以及行级锁及其与对象级锁的连接,还探讨了等待队列.这次我们要来个大杂烩.我们将从死锁开始(实际上,我计划上次讨论死锁,但是这篇文章本身篇幅太长了),然后简 ...

  2. postgreSQL源码分析——索引的建立与使用——GIST索引(2)

    2021SC@SDUSC 本篇博客主要讲解GiST索引创建以及删除的相关函数 这里写目录标题 GIST创建 相关数据结构 GISTBuildState GISTInsertStack gistbuil ...

  3. postgreSQL源码分析——索引的建立与使用——各种索引类型的管理和操作(2)

    2021SC@SDUSC 目录 上层操作函数 index_open index_beginscan() index_create() indexcmd.c 下层接口函数 IndexScanDescDa ...

  4. postgreSQL源码分析——索引的建立与使用——各种索引类型的管理和操作(1)

    2021SC@SDUSC 目录 概述 管理索引的系统表 记录索引相关的系统表 与索引系统表相关的后端源码 索引的操作函数 上层操作函数 下层接口函数 概述 索引是指按表中某些关键属性或表达式建立元组的 ...

  5. move lob会不会影响其他索引状态?

    前几天在客户现场做升级,脚本中move lob字段了,客户继续执行操作的时候,喊索引失效了.经查看,是非lob字段的索引失效,当时没注意,直接rebuild了,半夜回去的路上,经理问我,move lo ...

  6. postgresql 查看数据库,表,索引,表空间以及大小

    为什么80%的码农都做不了架构师?>>>    postgresql 查看数据库,表,索引,表空间以及大小 1.查看数据库 #psql -U postgres //\加上字母l,相当 ...

  7. postgreSQL源码分析——索引的建立与使用——GIN索引(3)

    2021SC@SDUSC 本篇博客继续讲解GIN索引创建和插入相关的函数,并讲解GIN索引的查询过程 目录 GIN索引的创建 ginbuild 插入函数 ginEntryInsert GIN索引查询 ...

  8. postgreSQL源码分析——索引的建立与使用——GIST索引(1)

    2021SC@SDUSC 这一篇博客主要讲解GIST索引的相关的介绍,组织结构以及原理的讲解. 目录 GIST 简介 介绍 扩展性 实现 typedef struct GISTSTATE GIST的索 ...

  9. postgreSQL源码分析——索引的建立与使用——Hash索引(3)

    2021SC@SDUSC 上一篇博客讲了关于Hash索引创建与插入的相关函数,这一篇博客讲述关于溢出页的操作函数以及Hash表的扩展相关的函数. 目录 溢出页的分配和回收 _hash_addovflp ...

最新文章

  1. 怎么自学python自动化测试-学习自动化测试,如何学习Python语言?
  2. PyQt5简介及demo
  3. 淘宝搜索中基于embedding的召回
  4. Java中集合(一)Collection 、ListE 、ArrayListE
  5. arm7 mysql 编译安装_uboot的readme导读(转)
  6. 测试人员未来的3条出路
  7. android 短信 aapp,谈谈App的统一跳转和ARouter
  8. 独家总结| 一文读懂卡尔曼滤波
  9. 并查集——家谱(洛谷 P2814)
  10. CentOS升级Python到2.7版本
  11. SpringSecurity Exceptions
  12. python画柱状图-python plotly画柱状图代码实例
  13. [转]java面试笔试题大汇总 ~很全面
  14. 局域网如何找路由器外的计算机,用路由组建小局域网,怎么使局域网之外的计算机共享到打印机?...
  15. Ubuntu下Hbase安装(一、相应的版本Hbase下载)
  16. 任正非讲话稿400篇_重磅干货丨任正非讲稿400篇(1994—2018)
  17. 部署无鱼工时系统,超详细教程,并成功部署
  18. 加湿器-香薰机的设计方案(单片机程序+PCB)超声波震荡方式 原理图+PCB+源代码+详细设计说明
  19. 光标快速移动到文档尾部_把光标移动到文件尾部的快捷键是什么呢?
  20. HttpClient通过RetryHandler实现超时重试

热门文章

  1. 内蒙古大学计算机学院教授,张俊星教授
  2. Dreamweaver 2021全新版本带来更强大的网页设计能力
  3. Oracle BBED单个数据文件跳过所有归档恢复
  4. 旷工了三天自动离职的流程是怎么样的
  5. 网络工程师成长日记349-榆林某银行项目
  6. ios android 游戏延迟,《英雄联盟手游》iOS延迟上线原因解析 ios为什么推迟上线...
  7. create-react-app 配置代理
  8. 根据章节目录动态设置页眉(以word2016为例)
  9. 如何关闭ThinkPad电脑的触摸板
  10. 电脑使用技巧分享  电脑小白们快收藏