开源中文词向量加载（训练好的词向量如何加载） tensorflow
中文词向量下载 https://github.com/Embedding/Chinese-Word-Vectors
用到的函数：
readline() 方法:
fileObject.readline()
用于从文件读取整行，包括 "\n" 字符。如果指定了一个非负数的参数，则返回指定大小的字节数，包括 "\n" 字符
fo = open("runoob.txt", "r+")
line = fo.readline()
split() 方法：
str.split(str="", num=string.count(str))
- str -- 分隔符，默认为所有的空字符，包括空格、换行(\n)、制表符(\t)等。
- num -- 分割次数。默认为 -1, 即分隔所有。
注：分割次数num可以设置很大，但是超过最大分割数量，也只会按照最大分割数量计算。
例如最大分割为5，num=10000，也只会分割5次
strip() 方法：
strip() 方法用于移除字符串头尾指定的字符（默认为空格或换行符）或字符序列
注意：该方法只能删除开头或是结尾的字符，不能删除中间部分的字符。
str = "00000003210Runoob01230000000"; print str.strip( '0' ); # 去除首尾字符 0
结果：3210Runoob0123
numpy.asarray()函数
np.asarray(a, dtype=None, order=None)
参数a:可以是，列表, 列表的元组, 元组, 元组的元组, 元组的列表，多维数组
参数dtype=None, order=None这两个都是可选参数
dtype：数据类型，默认的是自己从输入的数据自动获得。
order：有"C"和"F"两个选项,分别代表，行优先和列优先，在计算机内存中的存储元素的顺序。
将列表转换为数组
>>> a = [1,2]
>>> numpy.asarray(a)
array([1,2])
将数据类型转换为float和int
>>> a= [1,2]
>>> numpy.asarray(a,'f')
array([ 1., 2.], dtype=float32)
>>> numpy.asarray(a,'i') #'i'表示为dtype类型为int
array([1, 2], dtype=int32)
x = tf.Variable(0)
y = tf.assign(x, 1)
或
x = tf.Variable(12)
y = x.assign(34)
下载词向量的数据大，需要26G内存打开，截取一部分作为示例
3,300 其中词的个数，3个词，每个词300维
3 300
这 -0.225854 0.107560 0.197237 -0.163468 0.090813 0.040628 0.176729 -0.011261 -0.053033 0.037572 -0.155545 0.053847 0.131007 0.250081 -0.071398 -0.089812 -0.034247 0.078562 0.023870 0.159746 0.100427 0.021786 0.266321 0.004339 0.105988 -0.002758 0.119828 0.004190 -0.154152 0.087963 0.179135 0.041696 -0.150765 0.112602 -0.003246 -0.115960 0.042190 0.108845 0.138592 -0.270801 0.276069 -0.377507 -0.133841 0.225290 -0.084972 -0.046473 -0.163377 -0.129677 0.178721 -0.008124 -0.037467 0.291655 0.144279 -0.118583 0.046584 0.021907 0.126214 0.054273 0.048182 0.079335 -0.126211 0.045360 -0.099212 -0.016365 -0.009512 -0.038277 -0.152457 0.013738 -0.210855 -0.151658 0.068768 0.310373 0.086278 0.065519 0.089834 0.264020 0.206357 -0.046300 0.111625 -0.112923 0.025023 0.266332 0.238958 -0.112658 0.037161 -0.228547 0.048586 0.243026 -0.143488 0.045040 0.028236 0.096553 0.011036 0.119268 0.068397 -0.000245 -0.011066 -0.096202 -0.020504 -0.104224 -0.152824 -0.126277 0.003383 0.146738 0.034192 -0.063062 -0.100550 0.081958 0.297142 -0.095431 0.047876 0.045076 0.061213 -0.103860 -0.046096 -0.108332 0.083888 -0.170114 0.091852 -0.111302 0.036355 0.048322 0.048027 -0.133125 -0.173485 -0.062455 0.133545 0.264515 -0.199027 -0.134663 -0.176003 -0.073278 -0.071808 -0.067675 0.065894 -0.061778 -0.207889 -0.035713 0.129135 0.160631 0.064196 0.036111 -0.037556 -0.123741 0.070222 -0.011605 0.095488 -0.026130 0.176827 0.135286 -0.091638 -0.196278 0.135840 -0.067259 -0.066008 -0.207676 -0.178852 -0.009413 -0.113950 0.196629 -0.114693 -0.026324 -0.141586 0.197364 -0.078522 -0.162726 0.052150 0.003707 0.034934 -0.067691 -0.014802 0.025208 -0.012278 0.014441 0.015678 0.044566 0.007233 -0.030680 -0.075503 0.143719 0.075201 0.141424 -0.038741 0.120257 0.066381 0.028938 -0.026662 0.052459 0.103320 -0.057982 0.058221 0.058726 -0.196115 -0.118826 -0.017446 0.047007 0.301567 0.037915 -0.147273 0.340786 -0.015451 -0.004354 0.009008 -0.036533 0.171037 0.224140 -0.119820 0.302488 -0.036199 -0.200074 0.108383 0.048416 0.059023 0.092124 0.024632 0.049616 -0.205193 0.018068 -0.330599 0.047790 -0.031321 -0.066260 -0.077764 0.274229 -0.157499 -0.090307 -0.057102 0.099106 0.094118 -0.152254 -0.012646 0.065620 0.032115 0.122921 0.051477 0.019677 0.321413 0.100348 -0.195362 0.033550 0.171877 -0.054965 -0.090468 -0.046022 -0.023165 0.142064 0.160361 -0.100200 0.114204 -0.251116 -0.020862 0.259914 0.010826 -0.333081 -0.029773 -0.106668 -0.066178 -0.055028 0.032080 0.081552 0.237320 0.034470 0.116792 -0.054930 0.035778 -0.171559 -0.077482 0.091026 -0.050017 0.080905 -0.356599 -0.044822 -0.058992 0.191774 0.001098 0.036497 -0.047119 -0.051166 0.028191 0.230730 -0.093177 -0.086363 -0.153171 -0.000628 0.028436 -0.117305 -0.154677 -0.030172 -0.073724 0.022715 -0.036977 0.059616 0.153312 -0.103805 0.231885 0.247361 -0.134653 0.142064 0.144121 0.005673
的 -0.242538 0.100439 0.129818 -0.104647 -0.028103 0.058042 0.190883 0.153426 0.034308 0.071330 -0.000116 0.113657 0.097657 0.030841 0.060856 0.056382 -0.195434 0.031622 0.003772 0.059192 -0.021331 -0.109444 0.192544 0.012395 0.107907 0.179732 0.216159 -0.004080 -0.127886 0.022992 0.169664 0.191425 -0.022217 -0.095708 0.075299 -0.169385 0.042564 0.002497 0.033388 -0.279786 0.135520 0.028730 -0.006901 0.183539 0.175054 0.166405 0.106541 -0.030475 0.122642 -0.196793 0.247228 0.058643 0.177309 -0.197690 -0.088260 0.094268 0.117994 0.031037 0.069194 0.000642 -0.066777 0.101824 -0.002390 0.094974 0.121026 0.153325 -0.304356 0.173549 -0.093552 0.029033 0.101660 0.149433 0.072934 0.143490 0.083457 0.241503 -0.070801 -0.088046 0.003713 -0.280668 -0.001448 0.003456 0.101584 0.131760 -0.223845 -0.309329 0.016964 0.347164 0.132431 -0.111628 -0.138338 -0.064733 0.007556 0.122302 0.184578 -0.078595 -0.140727 -0.192051 -0.086686 -0.038096 -0.097754 -0.052457 -0.018865 0.045217 0.132015 0.010384 -0.070730 -0.116558 0.109532 -0.159887 -0.024422 0.011281 -0.006494 0.021118 -0.021956 0.045676 0.285816 -0.096120 0.045639 0.046192 -0.194560 0.143332 0.013284 0.181637 -0.135146 -0.213470 -0.122927 0.139591 -0.174840 -0.230727 -0.336673 0.028399 0.133554 -0.022328 0.263509 -0.135144 -0.085525 -0.068479 0.147214 0.148020 -0.165846 0.096487 0.216477 -0.130104 0.220343 0.022198 0.081715 0.190736 -0.112020 0.124746 -0.042398 -0.100392 0.217173 -0.025453 -0.261025 -0.122996 -0.065484 0.169312 -0.274064 0.073796 -0.042404 0.003309 -0.026870 0.224915 -0.086456 -0.116525 0.077721 -0.003964 0.094634 -0.345002 -0.055975 0.189918 -0.206350 -0.058314 0.003844 -0.008447 -0.021032 0.057915 0.084640 0.098421 0.103423 0.139302 0.069879 0.235352 -0.012435 -0.214576 0.140327 -0.096340 -0.000419 0.145002 -0.118673 -0.067662 -0.314651 0.103676 0.213736 0.119828 -0.093621 0.300272 -0.054337 0.236886 -0.066297 0.070531 0.055797 -0.052518 -0.042077 0.220657 -0.085996 0.439905 0.213758 -0.013311 0.172127 -0.072370 0.025413 0.129522 0.082697 0.258775 -0.146191 -0.015176 -0.039916 0.097016 0.134828 -0.051018 0.105613 0.200699 -0.085717 -0.149180 -0.140295 -0.099351 -0.072185 0.008729 0.114468 -0.014246 0.211366 0.059199 0.042156 0.000897 0.234377 0.119545 -0.052635 -0.034904 -0.053223 -0.105491 -0.097634 -0.044138 0.039147 0.025329 0.121565 0.042493 0.119284 0.007208 0.110501 0.105863 0.014750 -0.279106 -0.178406 0.028334 -0.144416 0.213126 0.025383 0.247148 0.346476 -0.046433 0.199948 0.019231 0.053996 -0.044669 -0.117902 -0.048377 -0.114109 0.047294 -0.266003 -0.155737 0.022962 -0.032529 -0.112454 0.065954 0.005879 0.160480 -0.098461 0.098248 -0.110154 -0.067323 -0.102438 -0.100263 -0.001491 -0.205655 -0.219179 0.047583 -0.187761 0.135312 0.035478 0.002708 0.039958 -0.083279 0.195324 0.142303 -0.079450 0.133499 0.202978 -0.277668
附 -0.283826 -0.052346 0.080995 -0.139234 0.153747 0.052080 0.152875 0.159906 -0.100812 0.051320 -0.103536 -0.089473 0.056333 0.140998 -0.062160 -0.124558 -0.066892 -0.009883 0.091323 0.173555 -0.096824 0.053216 0.320953 -0.072564 0.084597 -0.016583 0.137165 0.005142 -0.181158 0.144163 0.155581 0.165243 -0.017603 -0.001569 -0.008859 -0.074905 0.062937 -0.126123 0.157542 -0.174461 0.277550 -0.226569 0.105378 0.384084 0.012730 0.064785 0.061948 0.034733 0.245869 -0.052040 -0.061160 0.229989 0.137800 0.058283 0.062240 0.165518 0.029029 0.008543 0.159878 0.128581 -0.132286 -0.042042 -0.064327 -0.029669 -0.012382 0.171713 -0.170834 -0.030781 -0.156063 -0.166197 0.083500 0.245971 0.158185 0.124231 0.016966 0.098247 0.108287 -0.033103 0.110902 0.085093 -0.012798 0.059657 0.207193 0.008308 -0.073832 -0.165532 0.103812 0.138122 -0.223544 -0.129617 0.024598 0.118812 0.023367 0.241243 0.167620 0.045504 0.004117 -0.133555 -0.034388 -0.069076 -0.219639 -0.210766 0.192454 0.116632 -0.013204 -0.170307 -0.193683 0.075764 0.209414 -0.036529 -0.005920 0.164980 0.069390 -0.044813 0.209077 -0.192445 0.179965 -0.183163 0.145443 -0.115985 0.078686 0.064413 0.106028 0.040743 0.007855 -0.077971 0.019152 0.060632 -0.025784 -0.157173 -0.069382 0.041079 0.079359 -0.061446 0.156869 -0.041106 -0.239221 -0.040970 -0.000015 0.099060 -0.247002 -0.020837 0.050309 0.002642 0.118486 -0.029898 0.186345 0.085188 0.178551 0.096495 -0.075727 -0.120875 0.101078 0.074043 -0.114990 -0.139079 -0.132218 0.178934 -0.198598 0.116678 0.085819 -0.047442 -0.343870 -0.023334 -0.127745 -0.187099 0.153834 -0.065911 0.212171 -0.226741 0.007796 0.170214 -0.123449 0.030632 -0.134519 0.026184 0.060357 0.023709 -0.105402 0.059923 -0.054748 0.163454 -0.021259 0.143792 0.039344 -0.113686 0.095763 0.047529 0.053945 -0.024458 -0.035755 -0.034898 -0.117274 -0.140923 -0.051384 0.073058 0.142643 0.218760 -0.172208 0.232220 0.078158 0.015812 0.180485 -0.130071 0.163176 0.193347 0.036909 0.212062 -0.014643 -0.164350 0.269914 -0.020742 0.139275 0.116478 -0.010222 0.046338 -0.163462 0.078293 -0.194750 0.146771 -0.066055 0.023407 -0.031146 0.323978 -0.104894 -0.062218 -0.067920 -0.058051 -0.007136 -0.065643 0.057267 0.005363 0.113890 0.194012 0.130181 0.081436 0.086198 0.065030 -0.172616 0.074657 0.038350 -0.150484 -0.019897 -0.079627 0.163732 0.090669 0.121193 -0.269247 0.119581 -0.304608 0.071850 0.088829 0.151985 -0.040556 -0.166373 -0.112855 -0.022780 0.054751 -0.004542 -0.012059 0.113281 -0.085975 0.213007 0.050355 0.042661 -0.188214 -0.074528 0.242681 -0.223175 0.019245 -0.291517 -0.086909 0.100913 0.090165 0.080523 0.154252 0.056052 0.049938 0.099428 0.266409 -0.078517 -0.211588 -0.247789 -0.061397 0.011922 -0.010878 -0.138854 -0.032372 -0.191472 0.056607 0.051876 0.045863 0.213666 -0.076109 0.197351 0.265458 -0.068780 0.057721 0.142923 -0.091333
vocab
['unk', '，', '的', '。', '、', '和', '了', '在', '”', '“', '是', '一', '（', '）', '等', '：', '为', '年', '对', '月', '有', '上', '中', '；', '与', '地', '也', '日', '中国', '就', '个', '《', '》', '他', '到', '要', '多', '记者', '不', '人', '将', '把', '从', '这', '以', '新华社', '一个', '说', '我们', '我', '都', '发展', '被', '人民', '工作', '而', '后', '还', '时', '向', '他们', '进行', '日电', '——', '两', '并', '着', '又', '北京', '本报', '由', '国家', '已', '美国', '问题', '三', '来', '使', '？', '大', '企业', '建设', '名', '！', '生产', '没有', '用', '第', '经济', '但', '据', '之', '群众', '里', '全国', '我国', '同志', '自己', '或', '及', '给', '次', '这个', '于', '下', '可以', '举行', '通过', '本报讯', '们', '新', '％', '代表', '会', '能', '所', '今年', '政府', '要求', '去', '同', '一些', '组织', '·', '地区', '参加', '已经', '让', '以及', '农民', '这些', '本报记者', '它', '活动', '第一', '世界', '成为', '国际', '种', '就是', '提高', '其', '比', '四', '加强', '社会', '文化', '各', '主席', '革命', '二', '表示', '几', '会议']
# -*- coding: utf-8 -*-
#!/usr/bin/python
import numpy as np
import tensorflow as tf
filename = '/home/sgns.renmin.word'
def loadWord2Vec(filename):
vocab = [] #vocab dict
embd = [] #embedding matrix
#open file
fr = open(filename, 'r', encoding="utf-8")
#read file line one e.g. 3 300, 3 is num of word, 300 is word dim
line = fr.readline().strip()
# num of word, line.split(' ')[0], dim, line.split(' ')[1]
word_dim = int(line.split(' ')[1])
print('word_nums:',int(line.split(' ')[0]),'dim',int(line.split(' ')[1]))
#add word unk to dict
vocab.append("unk")
#add unk embd to embd
embd.append([0]*word_dim)
for line in fr :
row = line.strip().split(' ')
vocab.append(row[0]) #把第一个字/词加入vocab中
embd.append(row[1:]) #把后面一长串加入embd中
print("loaded word2vec")
fr.close()
return vocab,embd
vocab,embd = loadWord2Vec(filename)
vocab_size = len(vocab) #355987
embedding_dim = len(embd[0]) #300
print('vocab_size',vocab_size,'embedding_dim',embedding_dim)
#print(vocab)
embedding = np.asarray(embd)
W = tf.Variable(tf.constant(0, shape=[vocab_size, embedding_dim]),trainable=False, name="W") #不可训练
embedding_placeholder = tf.placeholder(tf.int32, [vocab_size, embedding_dim])
embedding_init = W.assign(embedding_placeholder) #placeholder 占位 变量W 形成 embedding_init, update embedding_init 等同更新 W
# 初始化变量
init = tf.global_variables_initializer()
with tf.Session() as sess:
sess.run(init)
sess.run(embedding_init, feed_dict={embedding_placeholder: embedding}) #embedding_init 被执行, W被更新
x = tf.nn.embedding_lookup(W, [1,0]) #[1,0]相当于取出单词对应标号为1,0的embdding
y = sess.run(x)
print(y)
print(y.shape)
开源中文词向量加载（训练好的词向量如何加载） tensorflow相关推荐
- Gensim训练维基百科词向量模型（含代码）
由于平时会用到很多的文本预处理,这里就系统的讲解一下Gensim是如何训练维基百科词向量模型的!! 其中训练好的模型,也就是最终生成的 **.model 文件,可以作为预训练词向量使用. 训练维基百科 ...
- 准确实用，7个优秀的开源中文分词库推荐
文章来自开源中国(微信ID:oschina2013) 如需转载请注明上述来源,其他来源无效并视为侵权 中文分词是中文文本处理的基础步骤,也是中文人机自然语言交互的基础模块.由于中文句子中没有词的界限, ...
- 交互式多模型_26亿参数，智源、清华开源中文大规模预训练模型
近日,北京智源人工智能研究院和清华大学研究团队联合发布了以中文为核心的大规模预训练语言模型 CPM-LM,参数规模达 26 亿,预训练中文数据规模 100 GB. 26亿参数,智源.清华开源中文大规模 ...
- Python Word2vec训练医学短文本字/词向量实例实现，Word2vec训练字向量，Word2vec训练词向量，Word2vec训练保存与加载模型，Word2vec基础知识
一.Word2vec概念 (1)Word2vec,是一群用来产生词向量的相关模型.这些模型为浅而双层的神经网络,用来训练以重新建构语言学之词文本.网络以词表现,并且需猜测相邻位置的输入词,在word2 ...
- 将词向量传入MySQL_【腾讯词向量】腾讯中文预训练词向量
腾讯词向量介绍 腾讯词向量(Tencent AI Lab Embedding Corpus for Chinese Words and Phrases)提供了预训练好的800万中文词汇的word em ...
- python加载谷歌word2vec现成词向量
第一步,下载谷歌word2vec现成词向量 在以下网址下载即可,大小~1.5G https://drive.google.com/file/d/0B7XkCwpI5KDYNlNUTTlSS21pQ ...
- 轻轻松松使用StyleGAN2（六）：StyleGAN2 Encoder是怎样加载训练数据的？源代码+中文注释，dataset_tool.py和dataset.py
上一篇文章里,我们简单介绍了StyleGAN2 Encoder的一部分源代码,即:projector.py和project_images.py,内容请参考: 轻轻松松使用StyleGAN2(五):St ...
- NLP-分类模型-2016-文本分类：FastText【使用CBOW的模型结构；作用：①文本分类、②训练词向量、③词向量模型迁移（直接拿FastText官方已训练好的词向量来使用）】【基于子词训练】
<原始论文:Bag of Tricks for Efficient Text Classification> <原始论文:Enriching Word Vectors with Su ...
- 在Keras的Embedding层中使用预训练的word2vec词向量
文章目录 1 准备工作 1.1 什么是词向量? 1.2 获取词向量 2 转化词向量为keras所需格式 2.1 获取所有词语word和词向量 2.2 构造"词语-词向量"字典 2. ...
- 【NLP】从头开始学词向量的预训练
磐创AI分享 作者 | ARAVIND PAI 编译 | VK 来源 | Analytics Vidhya 概述 理解预训练词嵌入的重要性 了解两种流行的预训练词嵌入类型:Word2Vec和G ...
最新文章
- 微信公共平台php用$GLOBALS[“HTTP_RAW_POST_DATA“]收不到信息解决方法
- python编程小游戏代码-Python小游戏之300行代码实现俄罗斯方块
- Linux下Tomcat添加为系统服务
- Asp.Net用户控件编程实例
- JS经典面试题05-变量连续声明var a = b = 1
- 5分钟完成业务实时监控系统搭建，是一种什么样的体验？
- Java写入大字符串到oracle数据库_java程序如何提高oracle百万级数据的insert效率
- Sorry, user *** is not allowed to execute ‘xxxx‘ as root on ****.
- history.back(-1)和history.go(-1)的区别
- 动态规划训练22 [Milking Time POJ - 3616 ]
- 包概念与__init__注意事项
- 研究综述 | 多关系知识图谱表示学习综述
- c语言中ai是什么,科普 | 什么是 cDai？
- 软件架构 —— 消息范式
- C语言程序设计型考册作业1,C语言程序设计作业 求解答
- 【人工智能】人工智能二——遗传算法的基本概念遗传算法的基本算法（编码群体设定适应度函数选择交叉变异遗传算法步骤）解决带约束的函数优化问题多目标的遗传算法遗传算法的改进算法
- 还不了解小程序？看这一篇文章就够了
- 金士顿DT100 G3 PS2251-07海力士U盘量产修复成功教程
- 2013~深圳百公里徒步
- 什么是云主机，云主机是什么样的？