1. 简介

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。
SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。
它有几个特色功能：

1）集中式的配置信息

2）自动容错

3）近实时搜索

4）查询时自动负载均衡

2. solr集群的系统架构

2.1 物理结构

就是若干个Solr实例（每个实例包括两个Core），组成一个SolrCloud

2.1.1 master和slave

Master是master-slave结构中的主结点（通常说主服务器），Slave是master-slave结构中的从结点（通常说从服务器或备服务器）。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的。

2.1.2 Core

每个Core是Solr中一个独立运行单位，提供索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

2.2 逻辑结构

索引集合包括两个Shard（分片），分片1和分片2分别由三个Core组成，其中一个Leader（主）两个Replication（从），Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。
用户发起索引请求分别从shard1和shard2上获取，解决高并发问题

2.2.1 collection

Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息。
比如：针对商品信息搜索可以创建一个collection。
collection=shard1+shard2+....+shardX

2.2.2 shard

Collection的逻辑分片。每个Shard被化成一个或者多个replication，通过选举确定哪个是Leader。

3. solr集群的搭建

整体结构图如下：

Zookeeper作为集群管理工具：

1）集群管理：容错、负载均衡

2）配置文件的集中管理

3）集群入口：

主要实现zookeeper高可用，需要搭建zookeeper集群，建议是奇数节点，需要三个zookeeper服务器

搭建solr集群需要7台服务器（搭建伪分布式，建议虚拟机内存1G以上）

需要3个zookeeper节点

需要4个tomcat节点

3.1 搭建准备工作

1）搭建zookeeper集群

2）将已经部署完solr的tomcat上传到Linux

3）在Linux上创建文件夹/usr/clusor/solr，创建4个Tomcat实例

4）将本地的solrhome上传到Linux

5）在Linux中创建文件夹/usr/clusor/solrhomes，将solrhome复制4份

6）修改每个solr的web.xml文件，关联solrhome

7）修改每一个tomcat的原运行端口8005 8080 8009 分别为

8185 8180 8109

8285 8280 8209

8385 8380 8309

注意：

1. 8005 端口：用来关闭tomcat服务器的端口

2. 8080 端口：负责建立HTTP连接，在通过浏览器访问tomcat服务器的web应用时，使用的是就是该端口

3. 8009 端口：负责和其他的HTTP服务器建立连接，在把tomcat与其他的HTTP服务器集成时，就需要使用到这个连接器。

3.2 配置集群

3.2.1 修改tomcat配置

修改每个tomcat实例bin目录下的catalina.sh文件，将下面的配置添加到catalina.sh文件中（文件中有多个JAVA_OPTS变量，查找被注释的那个JAVA_OPTS="$JAVA_OPTS -Dorg.apache.catalina.security.SecurityListener.UMASK=`umask`"，将这个注释放开，改成如下配置）

JAVA_OPTS="-DzkHost=192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"

如图：

注意：JAVA_OPTS就是用来设置JVM相关运行参数的变量，此配置用于在tomcat启动时找到zookeeper集群。

3.2.2 配置SolrCloud相关

在每个solrhome下都有一个solr.xml，把其中的IP及端口号配置好（是对应的tomcat的IP和端口号），如图：

1）solrhome1修改

第一个solr对应第一个tomcat，所以端口与主机配置第一个tomcat的主机地址与端口，配置如下：

2）solrhome2修改

第二个solr对应第一个tomcat，所以端口与主机配置第二个tomcat的主机地址与端口，配置如下：

3）solrhome3修改

第三个solr对应第一个tomcat，所以端口与主机配置第三个tomcat的主机地址与端口，配置如下：

4）solrhome4修改

第四个solr对应第一个tomcat，所以端口与主机配置第四个tomcat的主机地址与端口，配置如下：

3.2.3 配置文件的集中式管理——zookeeper管理配置

让zookeeper统一管理配置文件，需要把solrhome下collection1/conf 目录上传到zookeeper。上传任意solrhome中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件，工具地址为：solr/example/scripts/cloud-scripts/zkcli.sh，如图：

操作步骤：

1）将solr压缩文件上传到Linux服务器并解压，如图：

2）进入example/scripts/cloud-scripts/目录，可以看到solr的zookeeper连接工具zkcli.sh

3）执行如下命令：

./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183 -cmd upconfig -confdir /usr/clusor/solrhomes/solrhome-1/collection1/conf -confname myconf

出现如下提示表示上传成功

注意：执行命令前需要保证zookeeper集群处于启动状态中。

注意：命令解释

1. -zkhost：zookeeper地址列表
2. -cmd：表示命令
3. upconfig：表示上传配置
4. -cmd upconfig：表示指定命令upconfig上传配置文件
5. -confdir：表示配置文件目录，后面接配置文件具体地址
6. -confname：为配置起个名字

4）查看zook上的配置文件：使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件

使用命令：./zkCli.sh，如图：

注意：

1. 如果默认端口不是2181，要是用连接命令server

./zkCli.sh -server 192.168.25.130:2181

-server：指定IP地址，IP后面跟端口号

2. 退出使用命令quit

3.3 启动集群

1）启动每个tomcat实例，solr集群自动就启动了

2）访问集群，在浏览器输入任意一个tomcat的url都可以，例如：http://192.168.25.130:8180/solor ，当界面出现如下图所示，表示集群启动成功

进入cloud，可以看到集群信息，如图：

这个collection1就是整个索引库

shard1表示分片，目前分片只有一个

黑色的ip代表leader

4. 项目连接集群

在solrJ中提供了一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接solrCloud，它的构造参数就是zookeeper的地址列表，另外要求指定defaultCollection属性（默认的collection名称）。

这时候，只需要将之前的单机版的配置改成集群版的就可以了，配置如下所示：

5. 设置集群分片

5.1 创建新的Collection

创建新的Collection进行分片处理，在浏览器输入以下地址，创建新的Collection

http://192.168.25.130:8180/solor/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数：

action：表示执行的动作

name：将被创建的集合的名字

numShards：集合创建时需要创建逻辑碎片的个数

replicationFactor：分片的副本数即从节点的总个数。

5.2 删除分片

我们也可以删除新建的索引，例如：

http://192.168.25.130:8180/solor/admin/collections?action=DELETE&name=collection2

Solor集群——SolorCloud相关推荐

zookeeper管理solor集群
必备软件: jdk+solr+sookeeper+tomcat 环境+vamware14+centos6.9 步骤: 1上传必要的软件到centos 如上截图 2解压 tar -zxvf ***.t ...
solor快速_快速简单高效的搭建 SolrCloud 集群
网上一堆复制文件.修改文件的搭建教程,看完一顿懵,总觉得瞎复制文件不安全,容易出乱子.今天看了官方文档做下笔记,使用内嵌的 jetty 和自己的 zookeeper 启动集群,希望能给网友一些帮助. ...
如何快速部署一个Elasticsearch集群？
作者:无敌码农来源:无敌码农今天的文章给大家介绍下Elasticsearch这一目前在"搜索"和"分析"领域使用十分广泛的技术组件.并演示如何快速构建一个E ...
正式压力测试：locust进阶，超简单搭建生产级locust集群
locust进阶,搭建生产级locust集群本教程基于k8s集群搭建,使用helm作为包管理工具通过helm安装locust
【Kubernetes】如何使用Kubeadm部署K8S集群
一 . 准备机器本次环境采用华为云ECS弹性云服务器部署(也可以使用VMware) vm01(2V4G): Ubuntu_18.04作为K8S master节点 vm02(1V1G): Ubuntu ...
Redis集群管理方式
Redis的有三种集群方式:主从复制,哨兵模式和集群. 主从复制从服务器连接主服务器,发送SYNC命令: 主服务器接收到SYNC后执行BGSAVE命令生成RDB文件,并使用缓冲区记录此后执行的所有写 ...
理解和实现分布式TensorFlow集群完整教程
手把手教你搭建分布式集群,进入生产环境的TensorFlow 分布式TensorFlow简介前一篇<分布式TensorFlow集群local server使用详解>我们介绍了分布式Ten ...
分布式TensorFlow集群local server使用详解
通过local server理解分布式TensorFlow集群的应用与实现. 简介 TensorFlow从0.8版本开始,支持分布式集群,并且自带了local server方便测试. Local ...
手把手从零开始搭建k8s集群超详细教程
本教程根据B站课程云原生Java架构师的第一课K8s+Docker+KubeSphere+DevOps同步所做笔记教程 k8s集群搭建超详细教程 1. 基本环境搭建 1. 创建私有网络 2. 创建服务 ...

Solor集群——SolorCloud