语言模型评估方法Perplexity

更多内容: https://github.com/fansking/NlpWithMe
如何评估一个语言模型的好坏呢？一个好的语言模型，对正常的句子和错误的句子的生成概率应该是有差异的。例如：老鼠爱吃大米与爱老鼠大米吃。这两个句子分别放入语言模型中，第一个句子的生成概率应该较大。

困惑度（perplexity）的基本思想是：给测试集的句子赋予较高概率值的语言模型较好,当语言模型训练完之后，测试集中的句子都是正常的句子，那么训练好的模型就是在测试集上的概率越高越好

PP(W)=P(w1w2...wN)−1N=1P(w1w2...wN)NPP(W)=P(w_{1}w_{2}...w_{N})^{-\frac{1}{N}}=\sqrt[N]{\frac{1}{P(w_{1}w_{2}...w_{N})}}PP(W)=P(w1w2...wN)−N1=NP(w1w2...wN)1

而根据n-gram模型， P(w1w2...wN)P(w_{1}w_{2}...w_{N})P(w1w2...wN) 是可以算出来的（最大似然概率）

注意这里w1w2...wNw_{1}w_{2}...w_{N}w1w2...wN 是对句子分词得到的单词序列，N是单词总个数，由于加了负数的次方，故句子概率越大，语言模型越好，困惑度也即perplexity越小。

语言模型评估方法Perplexity相关推荐

perplexity 衡量指标_语言模型评价指标Perplexity
在信息论中,perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度.它也可以用来比较两个概率分布或概率模型.(应该是比较两者在预测样本上的优劣)低困惑度的概率分布模型或概率模型 ...
语言模型评价指标Perplexity
语言模型(Language Model,LM),给出一句话的前k个词,希望它可以预测第k+1个词是什么,即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1,x2,...,xk). 在报告里听 ...
N-gram语言模型 Perplexity 平滑
文章目录 1. N-gram语言模型 2. Perplexity(困惑度) 3. 平滑方法 3.1 问题 3.2 常用方法 3.2.1 Laplace平滑 (add-one, add-α) 3.2.2 ...
NLP-基础知识-002 (语言模型)
一.Noisy Channel Model p(text|source) = k * p(source|text)P(text) ----> Noisy Channel Model主要通过贝叶斯 ...
Python LDA gensim 计算 perplexity
转载自 https://blog.csdn.net/qq_23926575/article/details/79472742 1.LDA主题模型困惑度这部分参照:LDA主题模型评估方法–Perpl ...
Python中LDA 计算 perplexity来确定主题数
转载自 https://blog.csdn.net/qq_23926575/article/details/79472742 1.LDA主题模型困惑度这部分参照:LDA主题模型评估方法–Perpl ...
语言双线性内插_数位语音信号处理概论 Lesson6 语言模型
在上一节lesson中主要总结了HMM在声学模型中的用法,本小节主要总结语言模型相关的内容.在语音识别领域,语言模型评估的是一句话到底有多像一句人话,在语音识别.拼写纠错.机器翻译.音字转换都有许多应 ...
perplexity 衡量指标_求通俗解释NLP里的perplexity是什么？
前面的回答都很优秀,但我想基于我的理解做个补充. 困惑度 Perplexity 是衡量语言模型好坏的指标,为了更好地理解其意义,首先有必要回顾熵的概念.根据信息论与编码的知识,我们知道熵代表着根据信 ...
Perplexity定义
Refer from http://blog.csdn.net/pipisorry/article/details/42460023 http://blog.csdn.net/pipisorry/ar ...

语言模型评估方法Perplexity

语言模型评估方法Perplexity

语言模型评估方法Perplexity相关推荐

最新文章

热门文章