手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类

全手写文本聚类算法词袋模型-->consin相似度-->UPGMA聚类

punctunation = [",", ":", ".", "'", "?", "/", "-", "+", "&", "(", ")"]
sent = ["I love sky, I love sea.", "i love sky, I love sea.", "I want to go to beijing", "I want to go to shang hai", "i want to go to beijing", "you are happy","how are you",\"today is sunday","I am liming"]
clean_tokenized = []
# for item in sent:
#     clean_tokenized.append(item.split(" "))
#
# sent = clean_tokenized
# clean_tokenized = []for s in sent:s = s.lower()for punc in punctunation:s = s.replace(punc, "")clean_tokenized.append(s)
print("clean_tokenized:",clean_tokenized)
texts = []
for item in clean_tokenized:texts.append(item.split(" "))
all_list = []
for text in texts:all_list += text
corpus = set(all_list)
corpus_dict = dict(zip(corpus, range(len(corpus))))
print("corpus:",corpus)
print("corpus_dict:",corpus_dict)
print("text：",texts)def vector_rep(text,corpus_dict):vec = []for key in corpus_dict.keys():if key in text:vec.append((corpus_dict[key], text.count(key)))else:vec.append((corpus_dict[key], 0))vec = sorted(vec, key=lambda x: x[0])vec_only = []for ve in vec:vec_only += [ve[1]]return vec_onlyfor i in texts:print(i)
vec1 = vector_rep(texts[0], corpus_dict)
vec2 = vector_rep(texts[1], corpus_dict)
print(vec1)
from math import sqrt
def similarity(vec1,vec2):inner_value = 0square_length_vec1 = 0square_length_vec2 = 0for tup1, tup2 in zip(vec1, vec2):inner_value += tup1 * tup2square_length_vec2 += tup1 ** 2square_length_vec1 += tup2 ** 2return(inner_value / sqrt(square_length_vec1*square_length_vec2))def position(vec_list):x = 0y = 0min_dis = -1000similarityv = -1000for i in range(0, len(vec_list)):for j in range(i+1, len(vec_list)):similarityv = similarity(vec_list[i], vec_list[j])if similarityv > min_dis:min_dis = similarityvx = iy = jreturn x, ydef listadd(listx,listy):return [(listx[i]+listy[i])/2 for i in range(0, len(listx))]print(listadd(vec1,vec2))def cluster(list, n):vec_list = []log = []for li in list:vec_list.append(vector_rep(li, corpus_dict))print(vec_list)while len(vec_list) > n:x,y = position(vec_list)log.append((x, y))addlist = listadd(vec_list[x], vec_list[y])vec_list.append(addlist)del vec_list[x]del vec_list[y-1]return loglog_list = cluster(texts, 4)
print("log_list:", log_list)
for lo in log_list:tem = sent[lo[0]] + sent[lo[1]]if lo[0]<lo[1]:del sent[lo[0]]del sent[lo[1]-1]else:del sent[lo[1]]del sent[lo[0]-1]sent.append(tem)
print(sent)

手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类相关推荐

k means聚类算法_一文读懂K-means聚类算法
1.引言什么是聚类?我们通常说,机器学习任务可以分为两类,一类是监督学习,一类是无监督学习.监督学习:训练集有明确标签,监督学习就是寻找问题(又称输入.特征.自变量)与标签(又称输出.目标.因变量) ...
机器学习---文本特征提取之词袋模型与tfidf特征
假设有一段文本:"I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good frie ...
【聚类算法】基于matlab划分法k-means聚类算法【含Matlab源码 1941期】
一.获取代码方式获取代码方式1: 完整代码已上传我的资源:[聚类算法]基于matlab划分法k-means聚类算法[含Matlab源码 1941期] 点击上面蓝色字体,直接付费下载,即可. 获取代码 ...
聚类算法（3）：DBSCAN密度聚类
目录 1. 基本概念 2. 算法描述 3. 算法实例 4. 算法优缺点 DBSCAN(Density-Based Spatial Clustering of Application with Nois ...
聚类算法距离矩阵_论文阅读9——AP聚类算法
Affinity Learning for Mixed Data Clustering 论文提出了基于混合对数据进行聚类的学习框架,具体研究内容包括:1)如何处理具有混合类型属性的数据.2)如何学习数 ...
dbscan和谱聚类_R 无监督聚类算法（1）K-means和层次聚类
首先我们要解决几个问题聚类算法主要包括哪些算法? 主要包括:K-means.DBSCAN.Density Peaks聚类(局部密度聚类).层次聚类.谱聚类. 什么是无监督学习? • 无监督学习也是相 ...
k均值聚类算法案例 r语言iris_聚类分析—系统聚类
聚类就是按照某个特定标准把一个数据集分割成不同的类或簇,最后的结果是希望同类之间的差异性尽可能小,不同类之间的差异性尽可能大.不同的类具有能够表达异于其他类的指标,这样针对不同的类,后续就能采取不一样 ...
聚类算法（1）——层次、K-means聚类
所谓聚类,就是将相似的事物聚集在一起,而将不相似的事物划分到不同的类别的过程,是数据分析之中十分重要的一种手段.比如古典生物学之中,人们通过物种的形貌特征将其分门别类,可以说就是一种朴素的人工聚类.如 ...
聚类算法教程（3）：层次聚类算法Hierarchical Clustering Algorithms
基本工作原理给定要聚类的N的对象以及N*N的距离矩阵(或者是相似性矩阵),层次式聚类方法的基本步骤(参看S.C. Johnson in 1967)如下: 1. 将每个对象归为一类,共得 ...

手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类

手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类相关推荐

最新文章

热门文章

手动实现简单的 文本聚类算法 词袋模型+consin相似度+UPGMA聚类

手动实现简单的 文本聚类算法 词袋模型+consin相似度+UPGMA聚类相关推荐

最新文章

热门文章

手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类

手动实现简单的文本聚类算法词袋模型+consin相似度+UPGMA聚类相关推荐