以前已经提到过使用FudanNLP进行新闻关键词提取，无奈组长不满意因而换成了ictclas，在个人ubuntu13.04上面ictclas跑得很好，惋惜到别人的机器上就报错，没办法，只好再一次换工具，通过晓阳童鞋推荐，此次换成了ANSJ，听说这个工具就是早先ictclas的JAVA版本。java

这个工具的Github地址是这里：https://github.com/ansjsun/ansj_seg 须要看源码的本身前往。下面说说如何使用这个工具提取关键词。git

1-下载JAR包github

显然下载JAR包是最省事的方法，固然你也能够把Github上面的工程加进来，无奈JAR包找了很久未找到，最后只好向做者索取，目前已经上传到CSDN了，欢迎下载：http://download.csdn.net/detail/jj12345jj198999/6020541ubuntu

2-自定义keyword类网络

虽然ANSJ中已经实现了关键词提取，不过输出时并无给出每个关键词的权重，因而只好手动修改keyword类，好在Github上面的源码中已经定义了权重成员，咱们只须要增长一个Get函数便可。app

publicclassKeywordimplementsComparable {

privateString name;

privatedoublescore;

privatedoubleidf;

privateintfreq;

publicKeyword(String name,intdocFreq,intweight) {

this.name = name;

this.idf = Math.log(10000+10000.0/ (docFreq +1));

this.score = idf * weight;

freq++;

}

publicvoidupdateWeight(intweight) {

this.score += weight * idf;

freq++;

}

publicintcompareTo(Keyword o) {

if(this.score

return1;

} else{

return-1;

}

}

publicbooleanequals(Object obj) {

// TODO Auto-generated method stub

if(objinstanceofKeyword) {

Keyword k = (Keyword) obj;

returnk.name.equals(name);

} else{

returnfalse;

}

}

publicString toString() {

returnname;

}

//look here ******************************************************

publicdoublegetScore(){

returnscore;

}

publicintgetFreq() {

returnfreq;

}

}

除了这个以外，咱们还须要原封不动地把keywordcomputer类重抄一遍，随叫这两个类息息相关呢，要么都在JAR中要么就一块儿跳出来。对于这个类，实在不知道计算keyword时为什么要知道title的长度，做者告诉我这不是他写的也不知道原因，我猜Github上面添加这个模块的人确定认为出如今标题中的词须要赋予较大的权重吧，也许这个想法是对的。

importjava.util.ArrayList;

importjava.util.Collection;

importjava.util.HashMap;

importjava.util.List;

importjava.util.Map;

importjava.util.TreeSet;

importorg.ansj.app.newWord.LearnTool;

importorg.ansj.domain.Term;

importorg.ansj.recognition.NatureRecognition;

importorg.ansj.splitWord.analysis.NlpAnalysis;

publicclassKeyWordComputer {

privateintnKeyword =10;

//default constructor keyword number=10

publicKeyWordComputer() {

nKeyword = 10;

}

// constructor set keyword number

publicKeyWordComputer(intnKeyword) {

this.nKeyword = nKeyword;

}

//get keywords object list

privateList computeArticleTfidf(String content,inttitleLength) {

Map tm = newHashMap();

LearnTool learn = newLearnTool();

List parse = NlpAnalysis.parse(content, learn);

parse = NlpAnalysis.parse(content, learn);

for(Term term : parse) {

intweight = getWeight(term, content.length(), titleLength);

if(weight ==0)

continue;

Keyword keyword = tm.get(term.getName());

if(keyword ==null) {

keyword = newKeyword(term.getName(), term.getNatrue().allFrequency, weight);

tm.put(term.getName(), keyword);

} else{

keyword.updateWeight(1);

}

}

TreeSet treeSet = newTreeSet(tm.values());

ArrayList arrayList = newArrayList(treeSet);

if(treeSet.size()

returnarrayList;

} else{

returnarrayList.subList(0, nKeyword);

}

}

//get keywords,need title and content

publicCollection computeArticleTfidf(String title, String content) {

returncomputeArticleTfidf(title +"\t"+ content, title.length());

}

//get keywords, just need content

publicCollection computeArticleTfidf(String content) {

returncomputeArticleTfidf(content,0);

}

//get keywords weight

privateintgetWeight(Term term,intlength,inttitleLength) {

if(term.getName().matches("(?s)\\d.*")) {

return0;

}

if(term.getName().trim().length() <2) {

return0;

}

String pos = term.getNatrue().natureStr;

if(!pos.startsWith("n") ||"num".equals(pos)) {

return0;

}

intweight =0;

if(titleLength > term.getOffe()) {

return20;

}

// position

doubleposition = (term.getOffe() +0.0) / length;

if(position <0.05)

return10;

weight += (5-5* position);

returnweight;

}

}

3-testdom

最后就是写一个类测试，import一堆东西ide

packagecom.zengxiaosen;importjava.io.BufferedReader;importjava.io.FileInputStream;importjava.io.IOException;importjava.io.InputStreamReader;importjava.util.Iterator;/*** Created by zengxiaosen on 16/10/17.* 提取关键词语*/public classKeyWordtest {

public static voidmain(String[] args) throwsIOException{

String filePath = "./test-utf8.TXT";String tt = newString();BufferedReader in = newBufferedReader(newInputStreamReader(newFileInputStream(filePath)));String str;while((str = in.readLine()) != null){

tt += str;}

test1(tt);}

public static voidtest1(String content){

KeyWordComputer key = newKeyWordComputer(10);Iterator it = key.computeArticleTfidf(content).iterator();while(it.hasNext()){

Keyword key2 = (Keyword)it.next();System.out.println(key2.toString()+key2.getScore());}

}

}

在测试时有一点须要注意，ANSJ目前只支持UTF-8格式的字符串，其余格式的运行时会报JAVA GC错误，做者说由于处理过程当中是乱码，程序觉得都是新词致使内存崩溃了，但愿他在之后的版本中加以改进吧。最后给出输出结果，这里是按照权重排序的：

init ambiguity  waring :library/ambiguity.dic because : not find that file or can not to read !

init core library ok use time :3983

init ngram ok use time :2023

屌丝528.8693014046396

李毅202.62858475668492

网络174.9965471938941

球迷110.52413506982782

群体110.52413506982782

人人110.52413506982782

名号101.31379048067551

高富帅92.10390216212956

满屏92.10390216212954

网友92.1034458915232

*************************

社会主义1446.0241004969153

社会1326.289620837935

中国1096.0347881537828

人民1049.9792831633652

文化874.9827359694709

经济874.9827359694709

特点847.3517022020139

制度801.2999792562523

体系746.0379117213383

国家598.6723982949011