solr自动增量更新

1.导入增量更新罐包

将阿帕奇的Solr中的-dataimportscheduler.src.jar复制到solr的中的lib目录下

2.配置增量文件更新
在solr_home目录下新建一个文件夹conf，再在conf文件夹下

新建dataimport.properties文件，其内容为

#################################################
#                                               #
#       dataimport scheduler properties         #
#                                               #
#################################################  #  to sync or not to sync
#  1 - active; anything else - inactive
syncEnabled=1
#  which cores to schedule
#  in a multi-core environment you can decide which cores you want syncronized
#  leave empty or comment it out if using single-core deployment
syncCores=test,hotel
#  solr server name or IP address
#  [defaults to localhost if empty]
server=localhost
#  solr server port
#  [defaults to 80 if empty]
port=8083
#  application name/context
#  [defaults to current ServletContextListener's context (app) name]
webapp=solr
#  增量索引的参数
#  URL params [mandatory]
#  remainder of URL
params=/dataimport?command=delta-import&clean=false&commit=true
#  重做增量索引的时间间隔
#  schedule interval
#  number of minutes between two runs
#  [defaults to 30 if empty]
interval=1
#  重做全量索引的时间间隔，单位分钟，默认7200，即5天;
#  为空,为0,或者注释掉:表示永不重做索引
#reBuildIndexInterval=7200
#  重做索引的参数
reBuildIndexParams=/dataimport?command=full-import&clean=true&commit=true
#  重做索引时间间隔的计时开始时间，第一次真正执行的时间=reBuildIndexBeginTime+reBuildIndexInterval*60*1000；
#  两种格式：2012-04-11 03:10:00 或者  03:10:00，后一种会自动补全日期部分为服务启动时的日期
reBuildIndexBeginTime=03:10:00

3.增加增量更新监听器

在Solr的中的web.xml文件中加入

<listener><listener-class>org.apache.solr.handler.dataimport.scheduler.ApplicationListener</listener-class>
</listener>

4.编写增量更新SQL

在d：\ solr_home \酒店\ CONF \数据-config.xml中中的<实体>标签加入两个属性

<?xml version="1.0" encoding="utf-8"?>
<dataConfig><dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://192.168.126.133:3306/itripdb" user="root" password="123456"/><document name="hotel_doc"><entity name="hotel" pk="id" query="select id, hotelName, address from itrip_hotel"  deltaImportQuery="select id, hotelName, address from itrip_hotel where id = '${dih.delta.id}'"
deltaQuery="select id as id from itrip_hotel where modifyDate > '${dih.last_index_time}'"><field column="id" name="id"/><field column="hotelName" name="hotelName"/><field column="address" name="address"/></entity></document>
</dataConfig>

PS：字段被修改的时间一定要晚于数据导入到Solr中的时间，我在这里就犯了错误，铭记铭记

ps: 加入监听器之后，项目出现404,原因是监听器标签前有bom识别符，去掉之后就可以了。

solr自动增量更新相关推荐

android APP自动增量更新
APP自动增量更新抽取的Android自动更新库,目的是几行代码引入更新功能,含服务端代码,欢迎Star,欢迎Fork,谢谢- 博客同步自:个人博客主页代码github: https://gith ...
Solr的增量更新和全量更新对比
Solr的增量更新和全量更新 solr的简介 solr是一个采用java语言,基于Lucene的全文搜索引擎. solr的一些原理 solr通过数据库的数据导入到索引库中,并且给数据创建相应的索引,用 ...
Solr定时增量更新
1 概述将数据库中的数据导入到了solr中之后,如果数据库中的数据有变动,solr中还是第一次导入的旧的数据,因此需要定时检测数据库中的数据变化,并实时将变化的数据同步到solr中. 2 配置定 ...
solr4 mysql自动更新_solr7.4 定时增量更新数据-Go语言中文社区
准备 centos7 下solr7.4.0 配置mysql 数据源可参考: https://blog.csdn.net/guyan0319/article/details/81203184 配置da ...
sorl的全量更新与增量更新
solr 的全量更新与增量更新 solr的增量更新全量更新 solr的增量更新 1.首先要弄懂几个必要的属性,以及数据库建表事项,和dataimporter.properties .data-con ...
solr定时实时重建索引和增量更新
注:在上一篇的solr增量索引中遇到了一个很大的问题:定时任务一直无法执行,后来找了很多原因,分析日志后发现增量索引的请求都没发送,又经过一番折腾才在网上找到了解决方法,是apache-solr-da ...
solr定时实时重建索引和增量更新——sxt
定时实时重建索引和增量更新 Solr Data Import Handler Scheduler说明: 将 apache-solr-dataimportscheduler-1.0.jar 和solr自 ...
[置顶]使用scrapy_redis，自动实时增量更新东方头条网全站新闻
存储使用mysql,增量更新东方头条全站新闻的标题新闻简介发布时间新闻的每一页的内容以及新闻内的所有图片.项目文件结构. 这是run.py的内容 1 #coding=utf-82 from s ...
solr mysql增量导入_Solr全量与增量导入
Solr Full Import全量导入所谓全量索引一般指的是每次从数据库中读取需要导入的全部数据,然后提交到Solr Server,最后删除指定core的所有索引数据进行重建.全量导入一般在数据首 ...

solr自动增量更新

solr自动增量更新相关推荐

最新文章

热门文章