neo4j - 查询效率的几种优化思路

最近在公司实习做的就是优化neo4j图形数据库查询效率的事，公司提供的是一个在Linux上搭建且拥有几亿个节点的数据库。开始一段时间主要是熟悉该数据库的一些基本操作，直到上周才正式开始步入了优化数据库查询效率的阶段，然而庆幸的是在这周就已经把数据库的查询效率优化的可以商用了。

   刚开始时，在公司的neo4j数据库中进行关联查询时，有些查询指令甚至长达两小时都未返回待查结果，以致无法满足一般的商业需求。后来经过查阅相关资料，获得了如下几种优化思路：

1：增加索引
2：优化neo4j配置文件
3：增加服务器内存
4：增加ssd固态硬盘
一、增加索引

经查阅相关资料可知，neo4j数据库的索引一般分为三类。

① 手动索引：Neo4j数据库若采用手动方式创建索引，则索引并不会随着数据的改变而自动更新。虽然该种方法可以手动创建和维护索引，但由于较为麻烦，所以一般不采用。

② 自动索引：自动索引是一种通过修改配置文件来创建索引的方法，但是在目前的neo4j 3.x版本中已经摒弃了用该方法来创建索引，并建议使用模式索引代替之。

③ 模式索引：模式索引和关系数据库中的索引很相似, 每一个索引会对应一个标签和一组属性,无论是更新还是删除节点，索引都会自动更新或者删除，因此该种创建索引的方式更适用。

    很显然采用模式索引会更简单方便，而建立模式索引，需要使用Cypher语句：CREATE INDEX ON: 标签(待查字段)。一般在浏览器http://172.18.34.25:7474/browser/网页上，可分别为待查字段建立模式索引。然而实验结果表明，建立索引后的查询时间虽有减少但不足以满足实际需求。另外有一点非常重要，索引建立后只是Populating状态，一定要一定要一定要重启数据库并关闭http://172.18.34.25:7474/browser/网页让索引ONLINE生效，否则刚刚建的索引是无效的，望大家切记。若不知道待查字段是否已有索引，可用“:schema”指令查看当前数据库中已建好的所有索引和索引是否ONLINE。

二、优化neo4j配置文件

① 先明确neo4j的安装路径，然后执行“cd /home/public/Software/neo4j-community-3.3.7/conf/”指令进入指定目录下。由于要对neo4j配置文件进行修改，为了保险起见建议在对neo4j.conf文件进行修改之前，先备份一份neo4j.conf文件。

② 用“vim neo4j.conf”指令打开neo4j.conf文件并进行相应修改。经过查阅一些资料得知，通过添加jvm虚拟环境可以提高数据库的查询速度，即取消neo4j配置文件中关于dbms.memory.heap.initial_size=512m；dbms.memory.heap.max_size=512m两行的注释，并做合适的修改（最大堆内存越大越好，但是要小于机器的物理内存）。

三、增加服务器内存（未实施）

四、增加ssd固态硬盘（未实施）

    由于“增加索引”和“优化neo4j配置文件”已经可以让neo4j数据库的查询时间得到了较大的缩减，并能满足一般的商业需求，所以暂时还未进行“增加服务器内存”和“增加ssd固态硬盘”的优化操作。

心得体会：

①：在测试前一定要为待查字段分别建立模式索引，建与不建的查询速度是非常显著的哈；

②：索引创建后一定要ONLINE才会生效，这点把我坑的好惨啊！

③：测试查询语句时，一定要尽可能将在一类标签中（其实相当于一张表）靠后或靠中间的节点属性作为查询条件，这样才能遍历更多的节点，故所得的测试结果才会真实可信；

④：增加WHERE语句、配合使用AND、OR等加大查询复杂度，另外还可以通过使用错误的范围语句来进行测试，如 “2020-10”<= P1.paper_publish_date <= “2017-10”；

⑤：测试语句也要将不存在的节点的属性作为查询条件，看返回空的时间如何；

⑥：学会优化Cypher查询语句，如

MATCH (a:Author)-[:author_is_in_field]->(f:Field)

WHERE f.field_level = “L3”

RETURN a.auhtor_name,f.field_name,f.field_reference_count

LIMIT 10

可以优化成

MATCH (a:Author)-[:author_is_in_field]->(f:Field{field_level:“L3”})

RETURN a.auhtor_name,f.field_name,f.field_reference_count

LIMIT 10

⑦：测试过程中，要想尽一切用户可能使用的场景来进行测试，切不可有意回避某些使用场景，否则不过是自欺欺人而已。

给大家推荐几个neo4j数据库学习网站：

【1】https://www.zhihu.com/question/45401120

【2】https://www.cnblogs.com/justcooooode/p/8182376.html

【3】https://blog.csdn.net/qq_37242224/article/details/81325625

【4】https://www.cnblogs.com/qianguyihao/category/587723.html

【5】https://www.cnblogs.com/loveis715/p/5277051.html

【6】https://blog.csdn.net/u011697278/article/details/52462420

【7】https://www.w3cschool.cn/neo4j/neo4j_need_for_graph_databses.html

【8】https://blog.csdn.net/u013946356/article/details/81739079

原文链接：https://blog.csdn.net/Vensmallzeng/article/details/89299687

neo4j - 查询效率的几种优化思路相关推荐

【性能优化】网络编程 - PHP - 使用TCP长连接的一种优化思路 - 学习/实践
1.应用场景主要了解学习如何基于PHP使用TCP长连接的一种优化思路. 2.学习/参考文档阅读 PHP - CGI, Fast-FGI, PHP-FPM - 学习/实践 php使用tcp长连接的一 ...
关于解决MYSQL的like模糊查询效率的一种方案
大家都知道like %suibin% 这种查询的效率极低,而MYSQL也建议不要这样模糊查询,常用的是把数据同步到CACHE里: 1.比如同步到ES里用ES模糊查询.或者同步数据到MongoDB实现模 ...
优化思路千万种，基于下界函数的最优化效率如何？
作者丨stephenDC 来源 | 大数据与人工智能(ID:ai-big-data) 导读:生活中我们处处面临最优化的问题,比如,怎么样一个月减掉的体重最高?怎么样学习效率最高?怎么样可以最大化实现个 ...
django+haystack+elasticsearch优化查询效率
django+haystack+elasticsearch优化查询效率背景安装环境配置 1.在settings中的配置 2.在子应用下创建索引文件 3.指定索引模板文件 4.使用命令创建索引索 ...
关于SQL查询效率，100w数据，查询只要1秒
1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询 ...
快速排序的三个优化思路
前言本文主要是介绍关于快速排序的三种优化思路,所以是基于读者已经掌握快速排序算法思想以及最基本的实现的前提,遂有关于快速排序原理方面,这里就不多赘述了. 下面是快速排序最简单的实现版本,即每次选取待 ...
数据库索引--SQL语句执行效率、分析及优化
数据库表中字段上创建的索引,在写SQL语句进行查询时,索引可能会被使用到,也肯能因为SQL语句导致索引在此条SQL语句执行时索引无效. 聚簇索引的顺序就是数据的物理存储顺序,而对非聚簇索引的解释是:索 ...
neo4j 查询同一节点的两个上级_如何用Neo4j和ScikitLearn做机器学习任务？| 附超详细分步教程...
作者 | Mark Needham译者 | Tianyu.Shawnice编辑 | Jane出品 | AI科技大本营(ID:rgznai100)图算法不是一个新兴技术领域,在开源库中已经有很多功能强大 ...
sql如何遍历几百万的表_关于SQL查询效率，100w数据，查询只要1秒
1.关于SQL查询效率,100w数据,查询只要1秒,与您分享: 机器情况 p4: 2.4 内存: 1 G os: windows 2003 数据库: ms sql server 2000 目的: 查询 ...

neo4j - 查询效率的几种优化思路

neo4j - 查询效率的几种优化思路相关推荐

最新文章

热门文章