商品搜索分词java_商品搜索引擎---分词（插件介绍与入门实例）

最近刚好在学习搜索引擎分词，有了解一些分词插件，在这里给各位猿友分享一下。

本文主要介绍四个分词插件(ICTCLAS、IKAnalyzer、Ansj、Jcseg)和一种自己写算法实现的方式，以及一些词库的推荐。

一、ICTCLAS

1.1、介绍

中文词法分析是中文信息处理的基础与关键。中国科学院计算技术研究所在多年研究工作积累的基础上，研制出了汉语词法分析系统ICTCLAS(Institute of Computing Technology, Chinese Lexical Analysis System)。

它的主要功能包括中文分词；词性标注；命名实体识别；新词识别；同时支持用户词典。

先后精心打造五年，内核升级6次，目前已经升级到了ICTCLAS3.0。ICTCLAS3.0分词速度单机996KB/s，分词精度98.45%，API不超过200KB，各种词典数据压缩后不到3M，分词正确率高达97.58%(最近的973专家组评测结果)，基于角色标注的未登录词识别能取得高于90%召回率，其中中国人名的识别召回率接近98%，分词和词性标注处理速度为31.5KB/s。ICTCLAS 和计算所其他14项免费发布的成果被中外媒体广泛地报道，国内很多免费的中文分词模块都或多或少的参考过ICTCLAS的代码。是一个很不错的汉语词法分析器。

1.2、实例

博主windows64位的，如果32位系统的可参照如下文章：http://blog.sina.com.cn/s/blog_64ecfc2f0102v1jp.html，该文章ICTCLAS的windows32位下载url和实例详解。

如果是windows64位系统，可按照博主的步骤实现实例。

商品搜索分词java_商品搜索引擎---分词（插件介绍与入门实例）相关推荐

商品搜索引擎---分词（插件介绍与入门实例）
最近刚好在学习搜索引擎分词,有了解一些分词插件,在这里给各位猿友分享一下. 本文主要介绍四个分词插件(ICTCLAS.IKAnalyzer.Ansj.Jcseg)和一种自己写算法实现的方式,以及一些词 ...
Django项目实战——14—(列表页热销排行、商品搜索、Haystack建立数据索引、渲染商品搜索结果、商品详情页)
1.列表页热销排行根据路径参数category_id查询出该类型商品销量前二的商品. 使用Ajax实现局部刷新的效果. 查询列表页热销排行数据请求方式请求参数:路径参数响应结果:JSON {& ...
商城-商品搜索（Elasticsearch、IK分词器、Kibana使用）
1. Elasticsearch安装本章节将采用Docker安装,不过在市面上还有很多采用linxu安装,关于linux安装,已经提供了安装手册,这里就不讲了. (1)docker镜像下载 dock ...
python discuz搜索api_python如何模拟搜索引擎分词
大家知道python非常的强大,特别针对seo也非常的有用. 1.python可以自动收集与处理信息,比如文章标题与内容 2.python可以自动登录后台发布文章之前有写过相关利用python采集信 ...
美多商城之商品(商品搜索)
五.商品搜索 5.1 全文检索方案Elasticsearch 5.1.1. 全文检索和搜索引擎原理商品搜索需求当用户在搜索框输入商品关键字后,我们要为用户提供相关的商品搜索结果. 商品搜索实现可 ...
京东的商品搜索功能是如何实现的_「商品架构day8」京东几百亿的商品怎么搜索...
本文来自京东王春明老师的分享,主要介绍京东商品搜索的整体架构. 京东商品搜索简介京东商品搜索引擎是搜索推荐部自主研发的商品搜索引擎,主要功能是为海量京东用户提供精准.快速的购物体验.目前入口主要有P ...
京东亿级商品搜索核心技术解密
声明:本文来自京东张开涛的微信公众号(kaitao-1234567),授权CSDN转载,如需转载请联系作者. 作者:王春明,现任京东搜索平台部负责人,2011年加入京东搜索团队,期间一直负责京东搜索引 ...
京东11.11：商品搜索系统架构设计解密
原文地址:https://blog.csdn.net/u012598110/article/details/54018856 刘尚堃,京东推荐搜索部技术总监,有丰富的团队管理经验以及推荐.搜索.广告产 ...
王峰：Hadoop生态技术在阿里全网商品搜索实战
为什么80%的码农都做不了架构师?>>> 王峰:Hadoop生态技术在阿里全网商品搜索实战王峰在此报告中介绍在阿里全网商品搜索业务场景下,阐述他是如何利用并扩展Hadoop和 ...

商品搜索分词java_商品搜索引擎---分词（插件介绍与入门实例）

商品搜索分词java_商品搜索引擎---分词（插件介绍与入门实例）相关推荐

最新文章

热门文章