空间索引

索引我们都用过,它是一种特殊的存储结构,就像图书馆里书的分类存放策略或是现代化图书馆里的图书查询系统,能帮助我们快速找到自己需要的书。 数据库中,索引的存储一般使用 B树 或 B+树 来实现,通过二分法来查找法来快速定位到数据位置。

普通索引对于一维数据(key->data)是无往不利,可是面对空间数据(lon,lat -> data)就有些无能为力了,如果查询(116.27636, 40.041285)附近的点:

我们在 lon 或 lat 列上创建普通索引,假设是 lon 列,那么通过 lon 列查找到同一经度的数据后,还要在此基础上过滤掉纬度差异过大的数据。

如果在 lon,lat 上创建多列索引,查询到同一经度、纬度相近的数据固然快,但附近的点并不只是经度相同。

如此下来,就要用到空间索引了。空间索引通过 四叉树、R 树等数据结构,还有 GeoHash 算法将二维数据转化为一维使用普通B树索引 来实现,它们都能实现对空间范围内的快速搜索。

可是,今天的主题不在这里,我们的首要目标是要解决问题,这些空间索引的实现改日专门写文章来实现。本文来说一说现有的数据库中对空间索引的支持情况,希望能帮助跟我一样的 GIS 小白进行技术选型。

组内准备切换 poi 数据的存储数据库,花了一周时间安装配置各种数据库来测试空间索引的效率,测试了 Redis, Mongo, PostgreSQL, Mysql 这几个知名的支持空间索引的数据库,技术选型基本完毕,可是中间踩过的坑和配置经验不能丢,详情如下:

Redis

介绍

redis,一个功能强大、效率极高的缓存数据库(或许已经不仅仅是缓存数据库了),已经成为类似于关系存储型数据库在各个项目中不可或缺的组件了。首先考虑它是因为它的效率有保障,而且项目中几乎必备,运维代价很低。Redis 的 空间索引采用 GeoHash 原理,配合集合存储,查询效率接近 log(N)。

Redis 3.0 以上版本支持空间索引,新项目不必考虑这些,而一般的老项目可能就需要升级 Redis 了,另外 PHP 中可能还要升级 Redis 的扩展,以支持 Redis 的空间索引函数。

使用

Redis 的安装配置这里就不再多提了,这里简单地介绍一下 Redis 的 GEO 系列函数。

GEOADD key longitude latitude member [longitude latitude member ...]

GEOADD 将元素添加到集合中,可一次添加多个元素,其对应的 php 函数原型为: geoadd($key, $lon, $lat, $member);

GEORADIUS key longitude latitude radius m|km|ft|mi [WITHCOORD] [WITHDIST] [WITHHASH] [ASC|DESC] [COUNT count]

GEORADIUS 查询集合内 以目标点为圆心,半径为radius的圆内 的元素。其 php 函数原型为 georadius($key, $lon, $lat, $radius, $unit, $options); 其 $options 类似于 array('count' => $count, 'WITHDIST' ...);

结论

Redis 确实效率高,使用方便,但有一个无法克服的问题,即无法实现多条件查询。仅仅查询附近的点,Redis 是无懈可击,但是如果需求是查询附近的饭店呢?或是需求查询附近的 '万达' 呢?

不是不可以实现:

在关系型数据库内存储每个地点的详细信息,Redis 内的 member 存储每个地点在关系型数据库中的主键 ID,查询到地点的 ID 后,再去取地点的详细信息来过滤。

多余的库访问,会造成额外的网络开销和 IO 开销。

在以一定规则拼接 member 的值,如 $memeber = $name.','.$category;,在查询到地点后解析 member 后进行过滤。

较上面方法,省了网络开销,但不够灵活,如果再加上'城市'的限制,那么整个库的数据都要被清洗。

MongoDB

介绍

MongoDB 是老牌的支持空间索引的数据库,作为一个文档型数据库,它在存储日志或静态数据时效果不错。 它提供两种类型的空间索引:

2d 索引支持平台普通坐标的索引,适用于 2.4 版本之前;我们就不再考虑了,在大范围上存储和计算时,效率会有较大误差。

2dsphere 索引支持查询在一个类地球的球面上进行几何计算,以GeoJSON对象或者普通坐标对的方式存储数据。

2d 索引 和2dsphere 索引都是使用 GeoHash 算法用 B+ 树来实现。

使用

Mongo 创建空间索引的方法很简单:db.collection.createIndex( { field : "2dsphere" } );。

查询语句类似(下面是查询距目标点 3000米 内的地点):

db.poi.find( { loc :

{ $near :

{ $geometry :

{ type : "Point" ,

coordinates : [ 113.965355, 23.782865]

} ,

$maxDistance : 3000

}

}

} )

Mongo 的使用需要注意如下:

Mongo 的 PHP 扩展已经更新了,旧的扩展已被废弃,操作要使用 MongoDB\Driver\XXX 等类来进行,具体方法还是官方文档比较清晰。

Mongo 的 2dsphere 索引需要建立索引的字段存储的数据为 geoJSON 对象,在 PHP 中的构造形式类似:

$document = [

'loc' => [

'type' => 'Point',

'coordinates' => [$lon, $lat],

],

'name' => $name

];

Mongo在查询返回距离时需要使用 runCommand 命令,其语法类似于 db.runCommand({"geoNear":"collection", "near":[lon, lat], "num":count, query:{other condition}});

结论

mongo 的空间索引还是比较灵活的,GeoJSON 对象有点、线、多边形、多条线段、多点、多个多边形。支持 包含、相交、临近的查询,同时它也解决了 Redis 的多条件查询问题。

但是测试发现,mongo 有以下问题:

在进行大量数据时,性能会急剧下降,特别在符合条件的结果很多时,查询时间简直没法看。

Mongo 对分词模糊查询的支持不太好,要进行按地点名字模糊查询还需要想办法。

Mongo 的安全性配置是个问题。

PostgreSQL

介绍

postgreSQL 是一个知名的关系型数据库,构建在其上的空间对象扩展模块 PostGIS 使得其成为一个真正的大型空间数据库。它通过 R树 或 GIST 树索引来实现共空间索引,查询效率极高。同时它对分词模糊查询支持很好,也能解决以地点名查询的需求。

PostGIS 是一个开源程序,它为对象-关系型数据库PostgreSQL提供了存储空间地理数据的支持,使 PostgreSQL 成为了一个空间数据库,能够进行空间数据管理、数量测量与几何拓扑分析。PostGIS 实现了 Open Geospatial Consortium 所提出的基本要素类(点、线、面、多点、多线、多面等)的 SQL 实现参考。

使用

postgreSQL 的使用,对比其他数据库来说,较繁琐。

要使用 postgreSQL 的空间索引,需要安装 postgis,由于它依赖多而复杂,能使用 yum,apt-get,homebrew 等工具的优先使用;

数据库完毕后使用 initdb 命令初始化一个数据库;

使用非root用户 postgres -D datadir 开启服务;

使用 CREATE EXTENSION postgis; 安装扩展;

使用 CREATE INDEX idx_name ON table USING gist(field); ;

然后就可以建表建索引导数据了。

以下是一个典型的查询语句(查询跟目标点 3000米 内的地点名称和距离):

SELECT id, name, st_astext(loc),

ST_Distance(loc, ST_GeographyFromText('SRID=4326;POINT(118.08688 33.64843)')) as dist

FROM test WHERE

ST_DWithin(loc, ST_GeographyFromText('SRID=4326;POINT(118.08688 33.64843)'), 3000)

order by dist ASC limit 200;

使用时还需要注意:

如果需要进行中文分词查询的话,初始化数据库时要添加 -E UTF8 选项来指定字符集;

postgreSQL 不能使用 root 用户登陆,对于权限的控制也比较严,动辙需要赋予权限;

注意将数据保存为 geography 对象,默认使用 m 为单位。在使用 geometry 对象时,默认使用 笛卡尔度 为单位,虽然可以互相转换,但麻烦是少不了的。

建表时要指定其 SRID (空间参考标识符, 是与特定坐标系、容差和分辨率关联的唯一标识符) 值,以经纬度存储用 4326; 例如 loc geography(point, 4326),另外将数据转为 geography 点时也要注意使用 SRID:4326;

使用ST_ASText(field) 和 ST_GeographyFromText('SRID=4326;POINT(lon lat)')) 进行geography 和 字符串点进行转换;

主键索引数据类型可指定为 serial,类型于mysql的 int auto increment;

使用 \timing on 和 \timing off来切换是否显示命令执行时间;

结论

postgreSQL 对空间查询的支持非常灵活,足以支持多种复杂的空间查询,PostGIS 能计算不同投影坐标系下的真实空间距离,且查询效率极高,在大量数据时也不会像 mongo 一样性能急剧下降。

同时它关系型数据库的特性支持我们进行多条件查询,最后它也可以使用 zhparser 扩展来进行中文分词,以支持对地点名模糊查询。

虽然它在存在着复杂索引时写入较慢的问题,但对于存储不常变动的地点信息来说,是无关大碍的。

MySQL

介绍

Mysql 的重要性和强大不必多言,它的存储引擎 MyISAM 很早就支持空间索引。而 InnoDB 则在5.7.4 labs版本中才添加对空间索引的支持。

它们都是通过 R 树来实现空间索引。

使用

Mysql 中空间索引使用时要注意:

对空间索引的字段首先要设置为field geometry NOT NULL;

使用建立空间索引 SPATIAL KEY idx_fld (geom)来创建一列空间索引;

SQL语句中字符串与geometry的转换函数 POINTFROMTEXT('POINT(lon lat)');

进行范围查询时要先构造空间区域:GEOMFROMTEXT('Polygon((lon1 lat1,lon2 lat2,lon3 lat3,lon4 lat4 ...))'

以下是一个典型的空间查询语句(查询距目标点3km以内的点):

SELECT id, ST_Distance_Sphere(Point(-73.951368, 40.716743), geom) as dist, tags, ST_AsText(loc)

FROM nodes

WHERE ST_Contains( ST_MakeEnvelope(

Point((-73.951368+(3/111)), (40.716743+(3/111))),

Point((-73.951368-(3/111)), (40.716743-(3/111)))

), loc )

ORDER BY dist LIMIT 10

结论

由于 Innodb 的功能比 MyISAM 强大太多,且事务、行锁、B+树索引等功能的不可替代性,这里不再讨论 MyISAM。

Mysql 的空间索引查询效率不低。作为传统的关系型数据库,其多条件支持、分词也都被很好地支持。

虽然对 InnoDB 的空间索引有信心,也略期待,可是对一个长时间存在的系统来说,数据库版本的升级真正不是一个简单的事。

总结

我以 126万 poi 数据进行了测试,查询范围 3km 内的点(最多取200条)。 系统信息: macos10.12 (x86_64); 内核: 2 GHz Intel Core i5; 内存: 8 GB 1867 MHz LPDDR3;

以下是各数据库的对比情况:

可能测试操作时有些误差,有熟练使用这些数据库的可以评论交流一下。

数据库没有哪个一定好,只要适合场景即可。

如果您觉得本文对您有帮助,可以点击下面的 推荐 支持一下我。博客一直在更新,欢迎 关注 。

mysql 地理空间索引_空间索引 - 各数据库空间索引使用报告相关推荐

  1. mysql 多线程 一致性_常见缓存数据库一致性方案(建议收藏)

    项目中常常会用到redis 作为缓存抵挡大量流量直接冲击数据库mysql,那么必然涉及缓存和数据库数据的一致性(尽量短时间内最终一致性)问题. 导致不一致的原因主要有三种情况: 1:并发下,读取旧数据 ...

  2. 提高mysql查询速度_如何提高数据库查询速度

    1.用程序中, 保证在实现功能的基础上,尽量减少对数据库的访问次数: 通过搜索参数,尽量减少对表的访问行数,最小化结果集,从而减轻网络负担: 能够分开的操作尽量分开处理,提高每次的响应速度: 在数据窗 ...

  3. mysql 增量备份_云计算-开源数据库-备份

    关于备份: 备份原因:怕丢,怕被误删. 备份目标:数据的一致性,服务的可用性. 备份技术:物理备份/冷备份 直接复制数据库文件,适用于大型数据库环境,不受存储引擎的限制,但不能恢复到不同的MySQL版 ...

  4. es mysql 同步插件_[es和数据库怎么同步]mysql与elasticsearch实时同步常用插件及优缺点对比(ES与关系型数据库同步)...

    目前mysql与elasticsearch常用的同步机制大多是基于插件实现的,常用的插件包括:elasticsearch-jdbc,elasticsearch-river-MySQL,go-mysql ...

  5. Rds基于mysql开发的_开发云数据库RDS MYSQL版讲解

    前言 这篇文章适合所有的 C# 开发新手.老鸟以及想准备学习开发 C# 的程序猿..NET Core是一个开源通用的开发框架,支持跨平台, 阿里云函数计算推出了 dotnetcore2.1 runti ...

  6. oracle数据库跟mysql的区别_关于Oracle数据库与MySQL数据库的几点区别

    Oracle数据库与MySQL数据库的区别是本文我们主要要介绍的内容,接下来我们就开始介绍这部分内容,希望能够对您有所帮助. Oracle与MySQL的区别: 1.在Oracle中用select * ...

  7. 怎样用mysql查询测试_如何测试数据库查询优化器

    我一直认为,查询优化器(Query Optimizer,后面简称优化器)一直是数据库领域 Top 级别的 hardcore 技术,自己也一直尝试去深入理解,但每每看到 TiDB 代码里面那一大坨 pl ...

  8. django mysql数据同步_[django同步数据库]Django去操作已经存在数据的数据库

    数据库,各种表结构已经创建好了,甚至连数据都有了,此时,我要用Django管理这个数据库,ORM映射怎么办??? Django是最适合所谓的green-field开发,即从头开始一个新的项目 但是呢, ...

  9. ecshop mysql 报错_修复ecshop数据库ecs_sessions.MYI报错

    由于 MySQL 本身的读写及锁定机制等方面的原因,与一些其他数据库软件一样,在特殊情况下的极为频繁读写时,或在服务器掉电.死机等情况下,相关的数据文件可能会发生被损坏的情况,通常可以采用以下的方式加 ...

  10. 查看mysql删除日志_如何查看数据库删除记录日志

    {"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...

最新文章

  1. Web.Config文件配置之限制上传文件大小和时间
  2. 苹果测试软件testflight游戏,苹果内测工具TestFlight的使用
  3. 韦东山u-boot、kernel打补丁操作
  4. 已知c语言程序有主程序模块prog.c,嵌入式系统试卷--A卷
  5. javascript图书
  6. mysql主从配置 windows_windows实现mysql主从配置
  7. 判断标签是否出界,重新设置样式
  8. JSFL 获取当前脚本路径,执行其他脚本
  9. java数组线性查找_数组查找: 线性查找与二分查找
  10. 数据预处理第3讲:归一化与离散化
  11. 解读 Kotlin/Native 技术预览版
  12. 数据结构详解之向量vector
  13. android 7.0下载地址,android 7.0 Downloadprovider 下载流程
  14. RIP和IGRP实验
  15. 安装Node.js,系统提示User installations are disabled via policy on the machine
  16. 避坑外连腾讯云服务器redis 6379
  17. 智慧工地给工地装上“最强大脑”
  18. IDEA设置类文件模板@Auther@Date等注释信息——idea笔记
  19. CSS背景切角的实现研究
  20. 如何进行网站seo优化推广?

热门文章

  1. 1.44TFT彩屏字体翻转,扫描方式的改变
  2. 贝叶斯判别python_Python贝叶斯分析 PDF 完整原版
  3. MAVEN工程引入p6spy打印sql语句日志(Spring+mybatis)
  4. Proteus 数字示波器
  5. 51单片机 Proteus仿真 身高体重测量 HX711 超声波SR-04
  6. 如何快速发现XSS跨站攻击漏洞
  7. 单片机之串口通信 485多机通信 红外测试
  8. 《操作系统原理及应用》题库-选择题
  9. MySQL系列:java个人简历模板word
  10. 使用Canvas绘制简单工程符号