#encoding=utf8
import jieba
from gensim.models import word2vec
import gensim# 第一步：加入字典
def add_dict():f = open('./text/special_nouns.txt','r', encoding='utf-8')for word in f:jieba.suggest_freq(word.strip(),tune=True)f.close()add_dict()

#  第二步：读取三体小说的文本，并进行分词
def document_segment(filename):f = open(filename, 'r',encoding='utf-8')document = f.read()document_cut = ' '.join(jieba.cut(document))      with open('./text/The_three_body_problem_segment.txt','w',encoding='utf-8') as f2:f2.write(document_cut)     #
    f.close()f2.close()document_segment('./text/The_three_body_problem.txt')

def train_w2v(filename):text = word2vec.LineSentence(filename)model = word2vec.Word2Vec(text, sg=0,hs=1,min_count=1,window=3,size=100)model.save('./my_model')train_w2v('./text/The_three_body_problem_segment.txt')

# 导入保存好的模型
model = word2vec.Word2Vec.load('./my_model')# 取出词语对应的词向量。
vec = model[['红岸','水滴','思想钢印']]
print('三个词的词向量矩阵的维度是：', vec.shape,'。')
print('-------------------------------我是分隔符------------------------')
# 计算两个词的相似程度。
print('叶文洁和红岸的余弦相似度是：', model.similarity('叶文洁', '红岸'),'。')
print('-------------------------------我是分隔符------------------------')
# 得到和某个词比较相关的词的列表
sim1 = model.most_similar('叶文洁',topn=10)
for key in sim1:print('和叶文洁比较相关的词有',key[0],'，余弦距离是：',key[1])

三个词的词向量矩阵的维度是： (3, 100) 。
-------------------------------我是分隔符------------------------
叶文洁和红岸的余弦相似度是： 0.27795327 。
-------------------------------我是分隔符------------------------
和叶文洁比较相关的词有 章北海 ，余弦距离是： 0.9233694672584534
和叶文洁比较相关的词有 他 ，余弦距离是： 0.9116515517234802
和叶文洁比较相关的词有 罗辑 ，余弦距离是： 0.9056273698806763
和叶文洁比较相关的词有 汪淼 ，余弦距离是： 0.8981802463531494
和叶文洁比较相关的词有 吴岳 ，余弦距离是： 0.8976055979728699
和叶文洁比较相关的词有 她 ，余弦距离是： 0.893031895160675
和叶文洁比较相关的词有 程心 ，余弦距离是： 0.8800253868103027
和叶文洁比较相关的词有 丁仪 ，余弦距离是： 0.8800160884857178
和叶文洁比较相关的词有 云天明 ，余弦距离是： 0.8763566613197327
和叶文洁比较相关的词有 她们 ，余弦距离是： 0.875525712966919