词向量发展史

刚开始 词向量是将一个单词或者汉字用一个向量表示出来，一开始往往使用one-hot向量来表示，但是后来发现啊有以下的弊端：

两个单词之间是正交的（这也就意味着任意两个单词内积都为0，无法计算相似度）
如果有10000个汉字，那么每个汉字都需要10000维的向量来表示（这里面只有1个1，9999个0），极大的浪费了空间。

然后出现了先计算共现矩阵，然后通过SVD降维得稠密矩阵。这种方法有一个优点，俩缺点：

优点1 考虑了全文的信息，非局部信息
缺点1：来了新样本，必须重新计算，不能从原有的基础上进行计算。
缺点2：SVD计算复杂度高，所以这种方式不能处理大规模的语料库

后来 word2vec出现了，word2vec可以说是NLP发展的重要里程碑，他用简单的思想把词向量表达出来，（虽然一开始的目的不是中间过程的词向量，但后来往往用word2vec来获取词向量），对NLP的意义不亚于CV领域的AlexNet。
word2vec是以滑动窗口的方式，扫描一遍全部的语料库，再扫描的时候分为一个中心词，2m个周围词，m为窗口大小。最大化似然函数的方式来获取词向量。
再后来 Globvec。。

word2vec的两个分支

CBOW: 用周围词去预测中心词。
Skip Gram：用中心词去预测周围词。

显然，ship-gram的方式同一段文字，有更多的计算最大化似然的次数，

word2vec最全理论和代码相关推荐

降维算法总结（超全！附代码）
降维算法总结(超全!附代码) 一.为什么要进行数据降维? 二.数据降维原理三.主成分分析(PCA)降维算 PCA代码实现四.其他降维算法及代码地址效果总览及代码地址 KPCA(kernel PC ...
【深度学习】pix2pix GAN理论及代码实现与理解
灵感:最近也是在看关于GAN方面的代码,也是看到了很多篇博客,都写的挺好的,让我醍醐灌顶,理解了GAN的原理以及代码实现.所以写一下来记载一下,最后有其他好文章的链接. 灵感来源:pix2pixGAN ...
dev c++代码自动补全_让代码自动补全的全套流程
作者: 熊唯,黄飞 ,腾讯 PCG/QQ研发中心/CV应用研究组 AI 如果真的可以写代码了,程序员将何去何从?近几年,NLP 领域的生成式任务有明显的提升,那通过 AI 我们可以让代码自动完成后续补 ...
[转载] --- Fastjson1.2.68版及以下全版本远程代码执行漏洞通告
再这样,真的要放弃fastjson了 [安全通告]Fastjson <=1.2.68全版本远程代码执行漏洞通告尊敬的腾讯云用户,您好! 近日,腾讯云安全运营中心监测到,Fastjson < ...
android全屏保存壁纸,android设置全屏壁纸代码
设置全屏壁纸代码: WallpaperManager instance = WallpaperManager.getInstance(mContext); WindowManager wm = (Wi ...
VINS理论与代码详解2——单目视觉跟踪
VINS理论与代码详解2--单目视觉跟踪一．Feature_tracker文件夹中首先讲第一部分,也就是纯粹的图像处理部分内容,在论文中的第IV点观测值预处理的A部分视觉前端处理,为了更好的理解代 ...
30款后台源码。是我见过最全的后台代码。。
30款后台源码.是我见过最全的后台代码.. 如图:(由于太多只发出几个图片..请见谅) 这个是126邮箱样子的后台! 163样子的后台等等还有好多...图片就不发出来了.... 下载地址1:http ...
路径规划 --- A*，DWA，D* 理论与代码
路径规划 --- A*,DWA,D* 理论与代码注 1. A* 2. DWA 3. D* 注 A* 通过损失函数 D的第一次计算和A一样,区别在于:地图障碍物或机器人位置改变后,能利用A计算后的信息 ...
阿里外贸国际站全屏视频代码视频怎么装修教程
阿里外贸国际站全屏视频代码视频怎么装修教程阿里国际站英文站平台阿里巴巴国际站外贸装修店铺视频模块代码怎么做代码视频代码工具装修拼接方法装修工具:一秒美工助手工具

word2vec最全理论和代码

word2vec最全资料整理

词向量发展史

word2vec的两个分支

word2vec最全理论和代码相关推荐

最新文章

热门文章