java中文分词算法

package com.huawei.cloud.phone.platform.app.api.web.controller;

import java.util.Arrays;
import java.util.HashSet;
import java.util.Set;

public class analyzer {

/*** 最大匹配分词算法** @author JYC506*/
private Set<String> set = new HashSet<String>();
private int positiveOver = 0;
private int reverseOver = 0;/*** 正向最大匹配** @param str     要分词的句子* @param maxSize 词的最大长度* @return*/
public String[] positiveSplit(String str, int maxSize) {int tem = 0;int length = str.length();String[] ss = new String[length];char[] cc = str.toCharArray();for (int i = 0; i < length; i++) {positiveOver = 0;String sb = this.toStr(cc, i, maxSize);ss[tem++] = sb;i = i + positiveOver;}String[] ss2 = new String[tem];System.arraycopy(ss, 0, ss2, 0, tem);return ss2;
}/*** 添加词库** @param words*/
public void addWord(String[] words) {for (String st : words) {this.set.add(st);}
}/*** 逆向最大匹配** @param str* @param num* @return*/
public String[] reverseSplit(String str, int num) {int tem = 0;int length = str.length();String[] ss = new String[length];char[] cc = str.toCharArray();for (int i = str.length() - 1; i > -1; i--) {reverseOver = 0;String sb = this.toStr2(cc, i, num);tem++;ss[--length] = sb;i = i - reverseOver;}String[] ss2 = new String[tem];System.arraycopy(ss, str.length() - tem, ss2, 0, tem);return ss2;
}private String toStr(char[] cs, int start, int num) {int num2 = num;out:for (int j = 0; j < num; j++) {StringBuffer sb = new StringBuffer();for (int i = 0; i < num2; i++) {if (start + i < cs.length) {sb.append(cs[start + i]);} else {num2--;j--;continue out;}}if (set.contains(sb.toString())) {positiveOver = num2 - 1;return sb.toString();}num2--;}return String.valueOf(cs[start]);
}private String toStr2(char[] cs, int start, int num) {int num2 = num;for (int j = 0; j < num; j++) {StringBuffer sb = new StringBuffer();for (int i = 0; i < num2; i++) {int index = start - num2 + i + 1;if (index > -1) {sb.append(cs[index]);} else {num2--;}}if (set.contains(sb.toString())) {reverseOver = num2 - 1;return sb.toString();}num2--;}return String.valueOf(cs[start]);
}public static void main(String[] args) {String[] words = new String[]{"我们", "我们五人", "五人一组", "一组"};analyzer ss = new analyzer();/*添加词到词库*/ss.addWord(words);String st = "我们五人一组";System.out.println("脚本之家测试结果：");System.out.println("要分词的句子：" + st);/*使用两种方式分词，下面我指定最大词长度为4*/String[] ss2 = ss.reverseSplit(st, 4);String[] ss1 = ss.positiveSplit(st, 4);System.out.println("正向最大匹配分词算法分词结果：" + Arrays.toString(ss1));System.out.println("逆向最大匹配分词算法分词结果：" + Arrays.toString(ss2));
}

}

java中文分词算法相关推荐

java中文分词算法_Java实现逆向最大匹配中文分词算法
写道 //Java实现逆向最大匹配中文分词算法 public class SplitChineseCharacter { public static void main(String[] args) ...
在Hadoop上运行基于RMM中文分词算法的MapReduce程序
原文:http://xiaoxia.org/2011/12/18/map-reduce-program-of-rmm-word-count-on-hadoop/ 在Hadoop上运行基于RMM中文分词 ...
入门科普：一文看懂NLP和中文分词算法（附代码举例）
导读:在人类社会中,语言扮演着重要的角色,语言是人类区别于其他动物的根本标志,没有语言,人类的思维无从谈起,沟通交流更是无源之水. 所谓"自然"乃是寓意自然进化形成,是为了区分一些 ...
java中文分词的简单实现
java中文分词的简单实现中文分词算法算法思路算法实现代码及注释评价结语中文分词通俗来讲,中文分词是指将一句中文句子中的所有中文词汇相互分隔开来.它是文本挖掘的基础,有着十分广阔的应 ...
基于字典的中文分词算法RMM,MM实现
引言:目前针对中文分词一般有基于字典,基于统计(HMM等),基于规则的分词方法,然而其中基于字典的中文分词是最基础,同时也是最高效的方式,但分词精度取决与字典的规模. 一.基于字典的中文算法简介 1. ...
开源 Java 中文分词器 Ansj 作者孙健专访
Ansj 是一个开源的 Java 中文分词工具,基于中科院的 ictclas 中文分词算法,比其他常用的开源分词工具(如mmseg4j)的分词准确率更高. 在线演示: http://ansj.sdap ...
Java中文分词组件 - word分词（skycto JEEditor）
转自:https://my.oschina.net/apdplat/blog/228619#OSC_h4_8 Java分布式中文分词组件 - word分词 word分词是一个Java实现的分布式的中文 ...
中文分词算法python代码_中文分词算法之最大正向匹配算法（Python版）
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的. 正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配. 首先我们可以规定一个词的最大长度,每次扫描的时候 ...
正向最大匹配算法 python代码_中文分词算法之最大正向匹配算法（Python版）
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法,分为正向和逆向,原理都是一样的. 正向最大匹配算法,故名思意,从左向右扫描寻找词的最大匹配. 首先我们可以规定一个词的最大长度,每次扫描的时候 ...

java中文分词算法

java中文分词算法相关推荐

最新文章

热门文章