深度模型（七）：Sampled Softmax

Softmax

给定softmax的输入(z1,z2,...,zn)(z_1,z_2,...,z_n)(z1,z2,...,zn)，则输出为f(z1,f(z2),...,f(zn))f(z_1,f(z_2),...,f(z_n))f(z1,f(z2),...,f(zn))，其中f(zi),i∈[1,n]f(z_i),i\in[1,n]f(zi),i∈[1,n]的计算方式为：

f(zi)=ezi∑j=1nezjf(z_i)=\frac{e^{z_i}}{\sum_{j=1}^ne^{z_j}}f(zi)=∑j=1nezjezi

Sampled softmax

目前流行的基于神经网络的机器翻译(NMT)模型，采用的是Encoder-Decoder结构，对于输入序列x=(x1,x2,...,xSn)\boldsymbol{x}=(x_1,x_2,...,x_{S_n})x=(x1,x2,...,xSn)，生成对应的目标序列y=(y1,y2,...,yTn)\boldsymbol{y}=({y_1,y_2,...,y_{T_n})}y=(y1,y2,...,yTn)，模型的建模目标是最大化目标序列的条件概率。

logP(y∣x)=∑t=1TnP(yt∣y<t,x)logP(\boldsymbol{y}|\boldsymbol{x})=\sum_{t=1}^{T_n}P(y_t|y_{<t},\boldsymbol{x})logP(y∣x)=t=1∑TnP(yt∣y<t,x)

对于包含N个样本的训练数据，模型的训练目标就是最大化整体条件概率：

θ∗=argmaxθ∑n=1N∑t=1Tnlogp(ytn∣y<tn,xn)\theta^*=argmax_{\theta}\sum_{n=1}^N\sum_{t=1}^{T_n}logp(y_t^n|y_{<t}^n,\boldsymbol{x}_n)θ∗=argmaxθn=1∑Nt=1∑Tnlogp(ytn∣y<tn,xn)

详细的模型结构在这里就不再展开，可以参考我之前的文章深度模型（二）：Attention，在这里我们主要关注模型softmax层的计算。

softmax层输出目标序列中第ttt位的符号概率分布，计算方式为：

p(yt∣y<t,x)=exp(wtTϕ(yt−1,zt,ct)+bt)Zp(y_t|y_{<t},x)=\frac{exp(w_t^T\phi(y_{t-1},z_t,c_t)+b_t)}{Z}p(yt∣y<t,x)=Zexp(wtTϕ(yt−1,zt,ct)+bt)
=exp(wtTϕ(yt−1,zt,ct)+bt)∑yk∈Vexp(wkTϕ(yt−1,zt,ct)+bk)=\frac{exp(w_t^T\phi(y_{t-1},z_t,c_t)+b_t)}{\sum_{y_k\in V}exp(w_k^T\phi(y_{t-1},z_t,c_t)+b_k)}=∑yk∈Vexp(wkTϕ(yt−1,zt,ct)+bk)exp(wtTϕ(yt−1,zt,ct)+bt)

其中V表示目标序列的词汇表，yt−1y_{t-1}yt−1表示目标序列中前一位的符号,ztz_tzt表示Decoder当前的隐状态，ctc_tct表示Encoder隐状态的Attention值。

可以看出为了计算目标符号yty_tyt的条件概率，必须计算ZZZ值，这需要对词表VVV中的符号进行遍历，计算量随着词表规模的变大而变大，目前词表的规模从几千到几万不等。

为了支持超大规模的词表，一个很自然的思路就是，能不能通过一些算法达到近似计算ZZZ值的目的呢。论文《On Using Very Large Target Vocabulary for Neural Machine Translation》提出了一种对ZZZ值的近似计算方法，这就是sampled softmax:

p(yt∣y<t,x)=exp(wtTϕ(yt−1,zt,ct)+bt)Z^p(y_t|y_{<t},x)=\frac{exp(w_t^T\phi(y_{t-1},z_t,c_t)+b_t)}{\widehat Z}p(yt∣y<t,x)=Zexp(wtTϕ(yt−1,zt,ct)+bt)
=exp(wtTϕ(yt−1,zt,ct)+bt)∑yk∈V′exp(wkTϕ(yt−1,zt,ct)+bk)=\frac{exp(w_t^T\phi(y_{t-1},z_t,c_t)+b_t)}{\sum_{y_k\in V'}exp(w_k^T\phi(y_{t-1},z_t,c_t)+b_k)}=∑yk∈V′exp(wkTϕ(yt−1,zt,ct)+bk)exp(wtTϕ(yt−1,zt,ct)+bt)

其中V′V'V′就是采样得到的词表，词表规模要远小雨整体的词表VVV，因此整体的词表VVV的规模不再造成计算量增长的问题。采样方式和V′V'V′的选择方式，以后有时间再补上。