postgresql大数据查询加索引和不加索引耗时总结

2024-07-02 07:18:04

1、创建测试表

CREATE TABLE big_data
(
id character varying(50) NOT NULL,
name character varying(50),
datetime timestamp with time zone,
CONSTRAINT big_data_pkey PRIMARY KEY (id)
)
WITH (
OIDS=FALSE
);
ALTER TABLE big_data
OWNER TO postgres;

2、创建插入数据函数

CREATE OR REPLACE FUNCTION insert_bigdata()
RETURNS text AS
$BODY$
declare ii integer;
declare jj integer;
begin

ii = 1;
   jj = 1;
   FOR ii IN 1..10 LOOP
       FOR jj IN 1..10000 LOOP
           INSERT INTO big_data values(uuid_generate_v4(), 'lisi'||jj, now());
       END LOOP;
   END LOOP;
   RETURN 'success';
end;
$BODY$
LANGUAGE plpgsql VOLATILE
COST 100;
ALTER FUNCTION insert_bigdata()
OWNER TO postgres;

3、插入一千万条数据（修改函数中的循环次数，多执行几次，插入需要的数据）

select insert_bigdata();

4、给name字段不加索引和加索引分别统计执行时间

查询结果10条记录

select * from big_data where name='lisi10';

查询结果100条记录
select * from big_data where name='lisi100';

查询结果1000条记录
select * from big_data where name='lisi1000';

查询结果10000条记录
select * from big_data where name='lisi10000';

查询结果100000条记录
select * from big_data where name='lisi100000';

耗时统计表（单位/毫秒）

耗时统计图

5、结果总结

在查询结果小于1000条记录时，加索引会大幅度提高查询效率。

在查询结果大于1000条记录时，加索引对查询效率的提升逐渐减小，尤其是超过10000条时，使用索引后的查询时间也比较长。

当前结果仅适用于创建的big_data这张数据表（如果数据表中字段比较多，数据量比较大，会在更小的查询结果记录数出现加索引查询效率提升不明显的问题）。

postgresql大数据查询加索引和不加索引耗时总结相关推荐

技术分享：如何用Solr搭建大数据查询平台
技术分享:如何用Solr搭建大数据查询平台 0×00 开头照例扯淡自从各种脱裤门事件开始层出不穷,在下就学乖了,各个地方的密码全都改成不一样的,重要帐号的密码定期更换,生怕被人社出祖宗十八代的我,甚 ...
开源大数据查询分析引擎
引言大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce.Bigtable被称为云计算底层技术三大基石.GFS.Ma ...
全方位测评Hive、SparkSQL、Presto 等七个大数据查询引擎，最快的竟是……| 程序员硬核测评...
现在大数据组件非常多,众说不一,那么每个企业在不同的使用场景里究竟应该使用哪个引擎呢?易观Spark实战营团队选取了Hive.SparkSQL.Presto.Impala.HAWQ.ClickHous ...
数据库与elasticSearch，大数据查询性能PK
每天早上七点三十,准时推送干货一.介绍在这篇文章中利用springboot+elasticSearch,实现数据高效搜索,实战开发,我们介绍了 SpringBoot 整合 ElasticSear ...
大数据查询分析引擎比较
1.常见方案比较首先,Hive/SparkSQL 在数据仓库的领域应用是比较广泛的,但是因为查询时延很难能够满足毫秒到秒级的要求,同时因为是离线计算,数据时效性也比较差. 其次,ES (Elasti ...
大数据查询平台分享给大家！
钱唐信领大数据查询公众号上线,内有积分系统,三级分销系统,朋友查询你得收益,提现秒到,目前刚上线,全国各地市场空白,有想法的宣传一下吧,挣钱的都是第一批人
技术分享：如何用Solr搭建大数据查询平台【转载+整理】
b41k3r 2016-03-30 共191022人围观,发现38个不明物体数据安全 *原创作者:b41k3r 0×00 开头照例扯淡自从各种脱裤门事件开始层出不穷,在下就学乖了,各个地方的密码全 ...
大数据查询——HBase读写设计与实践--转
背景介绍本项目主要解决 check 和 opinion2 张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询.原实现基于 Oracle 提供存储查询服务,随着数据量的不断 ...
大数据查询工具HBase读写设计与实践
背景介绍本项目主要解决 check 和 opinion2 张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询.原实现基于 Oracle 提供存储查询服务,随着数据量的不断 ...

最新文章

热门文章