unsupervised learning--word embedding李宏毅机器学习笔记

1-N word vector 词相对独立，无法取得词与词之间的关系
因此需要采用word embedding，共有两种方法：

1.count base
采用计数的方法，将两个词一同出现的频率与两个词的向量內积联系起来，使內积尽量靠近频率

2.prediction base
提供上下文的1-N word vector为输入，将第一层输出作为word embedding，为了减少参数，另所有输入的词权重相同（没有先后顺序），做法是给予相同的初始值，同时减去相同的gradient值。
采用神经网络的效果最好，但是不是深层神经网络，大概是因为非deep的网络运算效率高训练速度快，可以输入大量数据。
可以用于影像辨识，建立起图片与词汇（分类）之间的关系，对新出现的图片类型有效

unsupervised learning--word embedding李宏毅机器学习笔记相关推荐

【李宏毅机器学习】Unsupervised Learning - Word Embedding 无监督学习 - 词嵌入（p22）学习笔记
文章目录 Unsupervised Learning Word Embedding 用一个vector来表示一个word的几种方法 1-of-N Encoding Word Class Word Em ...
李宏毅老师课程：Unsupervised Learning - Word Embedding
词嵌入:word embedding Introduction Word Embedding Count based Prediction based Sharing Parameters Train ...
【李宏毅2020 ML/DL】P22 Unsupervised Learning - Word Embedding
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 已经有人记了笔记(很用心,强烈推荐):https://github.com/Sakura-gh/ML-note ...
Meta learning - metric-based approach 李宏毅机器学习笔记
Siamese Network 孪生网络,通常不会放在meta learning里面但是李宏毅就要把这个网络放在meta learning里面讲所以为什么孪生网络可以看成meta learning ...
【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
李宏毅svm_【李宏毅机器学习笔记】 18、支持向量机（Support Vector Machine，SVM）...
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
【李宏毅机器学习笔记】 23、循环神经网络（Recurrent Neural Network，RNN）
[李宏毅机器学习笔记]1.回归问题(Regression) [李宏毅机器学习笔记]2.error产生自哪里? [李宏毅机器学习笔记]3.gradient descent [李宏毅机器学习笔记]4.Cl ...
台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding
台大李宏毅Machine Learning 2017Fall学习笔记 (16)Unsupervised Learning:Neighbor Embedding
李宏毅深度学习--《Unsupervised Learning:Neighbor Embedding》
<Unsupervised Learning:Neighbor Embedding> Manifold Learning Locally Linear Embedding (LLE) La ...

unsupervised learning--word embedding李宏毅机器学习笔记

unsupervised learning--word embedding李宏毅机器学习笔记相关推荐

最新文章

热门文章