solrcloud mysql_Mysql数据导入SolrCloud
Solr主要是做数据搜索的,那么Solr的数据是从哪里来的呢?总不能一条一条的插入吧。Solr也有这方面的考虑,比如配置Dataimport将mysql数据批量导入Solr中。
环境说明:
ambari v2.6.1
SolrCloud 5.5.5
我使用的ambari来自动化安装的Solr
一、创建mysql表,并插入数据
创建 test数据库,并执行下列语句
usetest;
DROP TABLE IF EXISTS`solr_test_info`;
CREATE TABLE`solr_test_info`(
`id`int(10)unsignedNOT NULL AUTO_INCREMENT,
`name`varchar(100)NOT NULL,
`address`varchar(40)NOT NULL,
PRIMARY KEY(`id`)
)ENGINE=InnoDBAUTO_INCREMENT=5DEFAULT CHARSET=utf8;
------------------------------
--Recordsof solr_test_info
------------------------------
INSERT INTO`solr_test_info`VALUES('1','张三','广东');
INSERT INTO`solr_test_info`VALUES('2','李四','上海');
INSERT INTO`solr_test_info`VALUES('3','赵五','四川');
INSERT INTO`solr_test_info`VALUES('4','tom','外国');
二、复制jar包
复制三个jar包到Solr指定位置
# 移动solr-dataimporthandler-5.5.5.jar、solr-dataimporthandler-extras-5.5.5.jar、mysql-connector-java.jar到指定目录
cd/usr/lib/ambari-infra-solr/dist
cp-r solr-dataimporthandler-5.5.5.jarsolr-dataimporthandler-extras-5.5.5.jar/usr/lib/ambari-infra-solr/server/solr-webapp/webapp/WEB-INF/lib
# mysql-connector-java.jar需要自己下载
cp-r mysql-connector-java.jar/usr/lib/ambari-infra-solr/server/solr-webapp/webapp/WEB-INF/lib
三、创建config set
1. 进入Zookeeper,创建Znode -- collection1
# node96.xdata为主机名
[root@node97~]#/usr/hdp/2.6.4.0-91/zookeeper/bin/zkCli.sh-server node96.xdata
[zk:node97.xdata:2181(CONNECTED)0]create/infra-solr/configs/collection1null
2. 上传文件到指定Znode -- collection1处
Solr官方提供了一个Zookeeper插件 -- zkcli.sh,使用该工具,可以实现将本地文件上传到zookeeper的Znode上。具体参见链接:使用zkcli.sh来管理SolrCloud配置文件
# 将managed-schema、solrconfig.xml、solr-data-config.xml、elevate.xml上传至指定Znode处
/usr/lib/ambari-infra-solr/server/scripts/cloud-scripts/zkcli.sh-zkhost node96.xdata:2181,node97.xdata:2181,node98.xdata:2181-cmd putfile/infra-solr/configs/collection1/managed-schema managed-schema
/usr/lib/ambari-infra-solr/server/scripts/cloud-scripts/zkcli.sh-zkhost node96.xdata:2181,node97.xdata:2181,node98.xdata:2181-cmd putfile/infra-solr/configs/collection1/solrconfig.xml solrconfig.xml
/usr/lib/ambari-infra-solr/server/scripts/cloud-scripts/zkcli.sh-zkhost node96.xdata:2181,node97.xdata:2181,node98.xdata:2181-cmd putfile/infra-solr/configs/collection1/solr-data-config.xml solr-data-config.xml
/usr/lib/ambari-infra-solr/server/scripts/cloud-scripts/zkcli.sh-zkhost node96.xdata:2181,node97.xdata:2181,node98.xdata:2181-cmd putfile/infra-solr/configs/collection1/elevate.xml elevate.xml
备注:
上述文件都在 /usr/lib/ambari-infra-solr/example/example-DIH/solr/db/conf目录下;SolrCloud里面也有默认的一组 configset配置组,位置在 Zookeeper的 /infra-solr/configs上面。
核实 solrconfig,xml,确保文件内有下述内容
solr-data-config.xml
其中 solr-data-config.xml需要我们自己定义:
query="select id, name, address from solr_test_info">
说明:
type这是固定值,表示JDBC数据源,后面的driver表示JDBC驱动类,这跟你使用的数据库有关,url即JDBC链接URL,后面的user,password分别表示链接数据库的账号密码,下面的entity映射有点类似hiberante的mapping映射,column即数据库表的列名称,name即schema.xml中定义的域名称。
修改 managed-schema文件,在最后新增:
说明:
name:字段名称
type:类型,分为string、int、long等
indexed:是否构建索引,true:可通过该字段查询到相应的结果;false:该字段不能进行查询
stored:是否存储,true:查询到数据是可以返回此字段;false:该字段不进行存储,即便查询到了结果,也不会返回这个字段
required:是否必填,对应数据库中的not null
multiValued:solr中的一个重要概念,在数据库中没有与之对应的概念。指是否进行多存储,该字段表示能否存储一个list或者数组
四、创建一个Collection
Solr有自己的web UI界面,在ambari平台上面的Solr,有两个Solr web UI,分别是:
http://10.6.6.97:8886/solr/#/ (old UI)
http://10.6.6.97:8886/solr/index.html#/ (new UI)
这里我们使用新UI页面创建Collection。点击 Collections --> Add Collection
参数说明:
name:将被创建的集合的名字
config set:集合使用的配置组,位置在Zookeeper上面。创建集合之前,必须保证zookeeper上面有所选择的config set。
numShards:集合创建时需要创建逻辑碎片的个数
replicationFact:分片的副本数。replicationFactor(复制因子)为 3 意思是每个逻辑碎片将有 3 份副本。
maxShardsPer:默认值为1,每个Solr服务器节点上最大分片数(4.2新增的) 注意三个数值:numShards、replicationFact、liveSolrNode(当前存活的solr节点),一个正常的solrCloud集群不容许同一个liveSolrNode上部署同一个shard的多个replicationFact,因此当maxShardsPer=1时,numShards * replicationFact > liveSolrNode时,报错。因此正确时因满足以下条件:numShards*replicationFact < liveSolrNode * maxShardsPer
为了更直观的说明numShards和replicationFact的意思,请看下图的 collection1和 collection3
collection1有三个分片,每个分片就一个副本。也就是numShards=3;replicationFact=1;maxShardsPer=1
collection3有两个分片,每个分片有两个副本。也就是numShards=2;replicationFact=2;maxShardsPer=2
均满足条件:numShards*replicationFact < liveSolrNode * maxShardsPer
五、数据导入
Solr提供了full-import和delta-import两种导入方式。
full-import:
多个entity,每个entity有各自的lastindextime,可以通过dataimporter.entityname.lastindextime来取各自的最后更新时间来进行增量更新。
多个entity时,进行full-import时指明导入某个entity。
delta-import
主要是对于数据库(也可能是文件等等)中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在ZooKeeper 对应的config set 配置组下面生成的dataimport.properties`文件,此文件里面有最近一次导入的相关信息。这个文件如下:
#Thu Dec 06 13:03:14 UTC 2018
last_index_time=2018-12-0613\:03\:14
solr_test_info.last_index_time=2018-12-0613\:03\:14
lastindextime是最近一次索引(full-import或者delta-import)的时间。
通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。
选择Solr web UI --> collection1 --> Dataimport,点击 configuration,可以看到 solr-data-config.xml的内容
说明
entity
entity是document下面的标签(solr-data-config.xml)。使用这个参数可以有选择的执行一个或多个entity 。使用多个entity参数可以使得多个entity同时运行。如果不选择此参数那么所有的都会被运行。
clean
选择是否要在索引开始构建之前删除之前的索引,默认为true
commit
选择是否在索引完成之后提交。默认为true
optimize
是否在索引完成之后对索引进行优化。默认为true
debug
是否以调试模式运行,适用于交互式开发(interactive development mode)之中。
请注意,如果以调试模式运行,那么默认不会自动提交,请加参数“commit=true”
选择提交方式为:full-import,点击蓝色按钮 Execute,可以选择自动刷新状态。
过一会之后,会出现Indexing completed.的字样,会显示增加/更新了多个文档,如下图所示:
六、数据查询
点击 Query选项,点击页面下方的蓝色按钮 ExecuteQuery,进行全部查询。返回结果如下图所示:
更多精彩干货内容,请您关注微信公众号实时查看 内容持续更新中,可点击阅读全文获取文章的最新内容
solrcloud mysql_Mysql数据导入SolrCloud相关推荐
- redshift mysql_MySQL 数据导入到 Redshift
设计表 首先是设计表结构.建表语法差别不大,有一些地方可以注意一下: Redshift 貌似没有无符号类型,所以要把 unsigned 类型的字段修改成相应的 INT 或 BIGINT 类型. FLO ...
- .unl 文件 导入 mysql_mysql数据导出导入
1. 从mysql查询出数据导入 txt 文件 mysql -h 10.3.20.251 -u addata_r -P 3417 -pARreBOEhw9MijIEN_eP6BYKOxkTikUnl ...
- 导入 mysql_MySQL如何导入数据 MySQL导入数据的4种方法
MySQL如何导入数据?本篇文章小编给大家分享一下MySQL导入数据的4种方法,文章代码介绍的很详细,小编觉得挺不错的,现在分享给大家供大家参考,有需要的小伙伴们可以来看看. 1.mysql 命令导入 ...
- load导入txt文件到mysql_mysql导入数据load data infile用法(将txt文件中的数据导入表中)...
我们常常导入数据!mysql有一个高效导入方法,那就是load data infile 下面来看案例说明 基本语法: load data [low_priority] [local] infile ...
- 1、solr包结构介绍,solrCore的安装配置,solr部署到Tomcat,多solrCore配置,配置中文分词器,界面功能介绍,Schema.xml的基本使用,数据导入
一.下载solr,下载地址是:http://archive.apache.org/dist/lucene/solr/,选择自己想要的solr的版本,本项目使用的版本是4.10.3 二.如果想下载Luc ...
- Python:数据导入、爬虫:csv,excel,sql,html,txt
''' 来源:天善智能韦玮老师课堂笔记 作者:Dust 数据导入 ·导入csv数据csv是一种常见的数据存储格式,基本上我们遇到的数据都可以转为这种存储格式.在Python数据分析中,我们可以使用pa ...
- matlab在曲线给命名,matlab 利用xlsread画图,怎么将一组excel数据导入,通过matlab作图...
Matlab 循环 for 语句 xlsread EXCEL表格数据导入 画图 Matlab的 xlsread() 函数可以将Excel数据到matlab工作空间,然后就可以根据读入据作图.下面给出操 ...
- Rocksdb 通过ingestfile 来支持高效的离线数据导入
文章目录 前言 使用方式 实现原理 总结 前言 很多时候,我们使用数据库时会有离线向数据库导入数据的需求.比如大量用户在本地的一些离线数据,想要将这一些数据导入到已有的数据库中:或者说NewSQL场景 ...
- sql server 2008数据导入Oracle方法
试了几种sql server数据导入Oracle的方法,发现还是sql server 的导入导出工具最好使.使用方法很简单,照着向导做就可以.不过使用中需要注意以下几点: 系统盘需要足够大.因为SSI ...
最新文章
- pyspider积累
- 配置文件值注入 ||导入配置文件处理器,以后编写配置就有提示
- .net之 datagrid
- 中国移动短信网关CMPP3.0 C#源代码:CMPP30类(1)(转)
- python diango 并发_python - django Model 并发写数据出现重复值
- 家用计算机注意哪些参数,电脑小白买内存条要注意哪些?主要看哪些参数?这些知识要掌握...
- RTMP代理的协议规范(RtmpProxy)
- 解决IntelliJ创建Maven项目一直显Loading archetype list
- ps抠头发插件_彻底告别抠图的烦恼!PS自动抠图超级插件Topaz ReMask大放送
- 50年后的地球什么样?大数据、AI、量子计算的书单给你答案
- Redis源码分析(一)--Redis结构解析
- 通过SQL发送邮件,SQL发送Email(转)
- VMware VSAN 高级参数介绍(测试用)
- Linux常用命令4(grep、df、du、awk、su、ll)
- STM32定义数组到flash的指定位置
- Hillstone 防火墙流量命令
- 关于如何将多个Cpp文件关联起来
- ubuntu tty联网
- Java 定义一个 Employee类,定义方法输出Employee的名字,年龄,总收入。编写应用程序使用Employee
- php怎么替换斜杠,PHP 反斜杠如何替换掉?