Datawhale 零基础⼊⻔NLP-Task2 Word Vectors and Word Senses

1.复习word2vec

P(o∣c)=exp(uoTvc)∑w∈Vexp(uwTvc)P(o|c)=\frac{exp(u_o^Tv_c)}{\sum_{{w}\in{V}}exp(u_w^Tv_c)}P(o∣c)=∑w∈Vexp(uwTvc)exp(uoTvc)

*更新词向量*

2.梯度下降法

梯度下降法
θnew=θold−α∇θJ(θ)\theta^{new}=\theta^{old}-\alpha\nabla_{\theta}J(\theta)θnew=θold−α∇θJ(θ)

while True:theta_grad = evaluate_gradient(J, corpus, theta)theta = theta - alpha * theta_grad

混合梯度下降法

while True:window = sample_window(corpus)theta_grad = evaluate_gradient(J, corpus, theta)theta = theta - alpha * theta_grad

∇θJt(θ)=[0⋮∇vlike⋮0∇uI⋮∇ulearning⋮]∈R2dV\nabla_{\theta}J_t(\theta)=\begin{bmatrix} 0 \\ \vdots \\ \nabla_{v_{like}} \\ \vdots \\ 0 \\ \nabla_{u_I} \\ \vdots \\ \nabla_{u_learning} \\ \vdots \end{bmatrix}\in{\mathbb R}^{2dV}∇θJt(θ)=⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎡0⋮∇vlike⋮0∇uI⋮∇ulearning⋮⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎤∈R2dV

SG和CBOW
SG=Skip-grams
CBOW=Continuous Bag of Words
如果说SG是通过一个词汇揣测上下文的话，那么CBOW就是完型填空。教授推荐使用SG来训练词向量。

SG和负采样
主动制造一些干扰（negative samples）来扩大数据集，增强词向量的鲁棒性。这个就像CV里的数据增强相似。
J(θ)=1T∑t=1TJt(θ)J(\theta)=\frac{1}{T}\sum_{t=1}^TJ_t(\theta)J(θ)=T1t=1∑TJt(θ)
Jt(θ)=log⁡σ(uoTvc)+∑i=1kEj∼P(w)[log⁡σ(−ujTvc)]J_t(\theta)=\log\sigma(u_o^Tv_c)+\sum_{i=1}^k{\mathbb E}_{j \sim P(w)}[\log\sigma(-u_j^Tv_c)]Jt(θ)=logσ(uoTvc)+i=1∑kEj∼P(w)[logσ(−ujTvc)]

Jneg−sample(o,vc,U)=−log⁡(σ(uTvc))−∑k=1Klog⁡(σ(−ukTvc))J_{neg-sample}({\bf o,v_c,U})=-\log(\sigma({\bf u^Tv_c}))-\sum_{k=1}^K\log(\sigma(-{\bf u_k^Tv_c}))Jneg−sample(o,vc,U)=−log(σ(uTvc))−k=1∑Klog(σ(−ukTvc))

3.为什么不直接使用共现矩阵(co-occurrence matrix)

NLP使用共现矩阵的问题：①稀疏②维度爆炸
解决方案：降低维度
如果是方阵，可以使用特征值进行降维；如果是更一般的矩阵，就使用SVD

python代码示例：
例如，语料是“I like deep learning. I like NLP. I enjoy flying.”

import numpy as np
la = np.linalg
words = ["I", "like", "enjoy", "deep", "learing", "NLP", "flying", "."]
X = np.array([[0,2,1,0,0,0,0,0],[2,0,0,1,0,1,0,0],[1,0,0,0,0,0,1,0],[0,1,0,0,1,0,0,0],[0,0,0,1,0,0,0,1],[0,1,0,0,0,0,0,1],[0,0,1,0,0,0,0,1],[0,0,0,0,1,1,1,0]])
U, s, Vh = la.svd(X, full_matrices=False)

GloVe
wi.wj=log⁡P(i∣j)w_i.w_j=\log P(i|j)wi.wj=logP(i∣j)
J=∑i,j=1Vf(Xij(wiTw~j+bi+b~j−log⁡Xij)2J=\sum_{i,j=1}^{V}f(X_{ij}(w_i^T\tilde w_j+b_i+\tilde b_j-\log X_{ij})^2J=i,j=1∑Vf(Xij(wiTw~j+bi+b~j−logXij)2

Glove的优点：
①训练快
②可以训练超大规模的语料库
③即使语料库很小，词向量很小，也有不错的性能