SOLR配置默认的一元分词与安装主流的中文分词扩展

引言：SOLR用的好不好，分词是关键，分词分的好不好，词库是关键。没有完美的分词和词库，只有更适合你网站的分词和词库。

目前网络上主流的SOLR分词模块：

1、庖丁分词：PAODING 参考地址：http://code.google.com/p/paoding/

2、老牌的mmseg4j 参考地址：http://code.google.com/p/mmseg4j/ 这个分词应用非常广泛，支持三种分词类型。

3、IKAnalyzer分词参考地址：http://code.google.com/p/ik-analyzer/ 本例使用此分词模块。

4、StandardAnalyzer、ChineseAnalyzer、CJKAnalyzer、IK_CAnalyzer、MIK_CAnalyzer、MMAnalyzer（JE分词）等，参考文档：http://blog.csdn.net/chaocy/article/details/5938741

SOLR安装IKANALYZER 2012

下载ikanalayzer2012 地址：http://code.google.com/p/ik-analyzer/downloads/list
本例使用版本为：IKAnalyzer2012_u5.zip
unzip解压到目录IKAnalyzer2012
cd IKAnalyzer2012
cp IKAnalyzer2012.jar TOMCAT/webapps/solr/WEB-INF/lib

SOLR 配置 IKAnalyzer 2012

打开/opt/solr/example/solr/conf/，其中有两个关键文件schema.xml，该文件是配置当前搜索项目的索引结构，另一个是sorlconfig.xml，该文件用于配置SOLR的一些引用接口和调用方案的，具体内容后续详谈。

打开schema.xml
在<types></types>中添加代码：

01 
02 <fieldType name="text_ika" class="solr.TextField">
03 <analyzer type="index">
04 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="false"/>
05 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
06 <filter class="solr.LowerCaseFilterFactory"/>
07 </analyzer>
08 <analyzer type="query">
09 <tokenizer class="org.wltea.analyzer.solr.IKTokenizerFactory" isMaxWordLength="true"/>
10 <filter class="solr.StopFilterFactory" ignoreCase="true" words="stopwords.txt" enablePositionIncrements="true" />
11 <filter class="solr.SynonymFilterFactory" synonyms="synonyms.txt" ignoreCase="true" expand="true"/>
12 <filter class="solr.LowerCaseFilterFactory"/>
13 </analyzer>
14 </fieldType>

该代码片段声明了一种搜索类型叫：text_ika，

在<fields></fields>中添加片段：
1 <field name="thread_title" type="text_ika" indexed="true" stored="true" multiValued="false" />

我们声明了thread_title字段使用text_ika分词，并声明该字段是可以被索引的indexed="true",并且需要存储索引内容stored="true"，结果为单一结果，非多个字段组合结果multiValued="false"

重新启动TOMCAT，在浏览器中打开admin地址http://localhost:8080/solr/admin/analysis.jsp?highlight=on
如下输入：

查看分词结果：

这就是调用IKAnalyzer2012扩展，分词的结果了，是不是很神奇。

出处：http://blog.duteba.com/technology/article/65.htm

SOLR配置默认的一元分词与安装主流的中文分词扩展相关推荐

中文分词工具比较 6大中文分词器测试（哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP）
中文分词工具比较 6大中文分词器测试(jieba.FoolNLTK.HanLP.THULAC.nlpir.ltp) 哈工大LTP.中科院计算所NLPIR.清华大学THULAC和jieba 个人接触的分 ...
Lucene全文检索_分词_复杂搜索_中文分词器
1 Lucene简介 Lucene是apache下的一个开源的全文检索引擎工具包. 1.1 全文检索(Full-text Search) 1.1.1 定义全文检索就是先分词创建索引,再执行搜索的过 ...
PHP+mysql数据库开发搜索功能：中英文分词+全文检索（MySQL全文检索+中文分词（SCWS））...
PHP+mysql数据库开发类似百度的搜索功能:中英文分词+全文检索中文分词: a) robbe PHP中文分词扩展: http://www.boyunjian.com/v/softd/robb ...
悟空分词与mysql结合_中文分词与关键词提取实践小结
本文基于题库查重需求实现过程及<NLP自然语言处理原理与实践>学习过程总结得出.定有不足之处,恳请指出. 基本概念评价指标一般,中文分词从Precision.Recall.F-scor ...
solr mysql 分词_solr 7+tomcat 8 + mysql实现solr 7基本使用(安装、集成中文分词器、定时同步数据库数据以及项目集成)...
基本说明 Solr是一个开源项目,基于Lucene的搜索服务器,一般用于高级的搜索功能: solr还支持各种插件(如中文分词器等),便于做多样化功能的集成: 提供页面操作,查看日志和配置信息,功能全面 ...
elasticsearch5安装和elasticsearch-analysis-ik中文分词插件安装
ElasticSearch简介 Elastic有一条完整的产品线及解决方案:Elasticsearch.Kibana.Logstash等,前面说的三个就是大家常说的ELK技术栈. Elasticsea ...
ik分词器分词原理_Solr7.7.2中文分词器
中文分词器的配置 1.7版本之后solr内置了中文分词器所以可以使用solr内置的分词器进行配置 1.在解压的目录内找到分词器包 2.将包放在solr项目的lib下 3.修改配置文件修改他下面的con ...
php scws 获取分词结果,php实现scws中文分词搜索的方法
本文实例讲述了php实现scws中文分词搜索的方法.分享给大家供大家参考,具体如下: 1.4个文件(本站下载地址.)解压后,放到一个地方 eg:E:/wamp/scws 2.php.ini 中配置 e ...
postgresql 分词_使用Postgresql进行中文分词
使用Postgresql进行中文分词安装 postgresql 数据库解压 tar -zxvf postgresql-9.6.6.tar.gz 配置 ./configure 可能会缺少这个依赖,安 ...

SOLR配置默认的一元分词与安装主流的中文分词扩展

SOLR配置默认的一元分词与安装主流的中文分词扩展相关推荐

最新文章

热门文章