情感分析之PMI互信息

PMI（Pointwise Mutual Information）,这里当然不是指经济上的那个PMI，而是点互信息，作用是衡量两个随机变量的相关性。可以用于情感分析中的情感分数计算，计算公式如下：
pmi(w1,w2)=log(p(w1,w2)p(w1)∗p(w2))=log(p(w1∣w2)p(w1))=log(p(w2∣w1)p(w2))pmi(w_1,w_2)=log(\frac{p(w_1,w_2)}{p(w_1)*p(w_2)})=log(\frac{p(w_1|w_2)}{p(w_1)})=log(\frac{p(w_2|w_1)}{p(w_2)})pmi(w1,w2)=log(p(w1)∗p(w2)p(w1,w2))=log(p(w1)p(w1∣w2))=log(p(w2)p(w2∣w1))
如果w1w_1w1和w2w_2w2分布是相互独立的，那么p(w1,w2)=p(w1)∗p(w2)p(w_1,w_2)=p(w_1)*p(w_2)p(w1,w2)=p(w1)∗p(w2)，此时有pmi(w1,w2)=log1=0pmi(w_1,w_2)=log1=0pmi(w1,w2)=log1=0。相反，如果w1w_1w1和w2w_2w2的分布不是相互独立的，那么p(w1,w2)>p(w1)∗p(w2)p(w_1,w_2)>p(w_1)*p(w_2)p(w1,w2)>p(w1)∗p(w2)，并且相关性越强pmipmipmi的值越大，说明w1w_1w1和w2w_2w2共现携带的信息越多,越容易共同出现。

情感分析之PMI互信息相关推荐

【中文情感分析】SO-PMI算法（HarvestText库的修正以及解析）
简述在最近的RA过程中,需要使用一个库,同时对其的原理需要理解.然后就研究了一些,发现了几个有趣的,其中一个HarvestText中文情感分析. 我研究了他的源码后,再结合理论知识发现了这个库在情感 ...
python+机器学习方法进行情感分析
不是有词典匹配的方法了吗?怎么还搞多个机器学习方法. 因为词典方法和机器学习方法各有千秋. 机器学习的方法精确度更高,因为词典匹配会由于语义表达的丰富性而出现很大误差,而机器学习方法不会.而且它可使用 ...
python情感分析步骤_使用python+机器学习方法进行情感分析(详细步骤)
不是有词典匹配的方法了吗?怎么还搞多个机器学习方法. 因为词典方法和机器学习方法各有千秋. 机器学习的方法精确度更高,因为词典匹配会由于语义表达的丰富性而出现很大误差,而机器学习方法不会.而且它可使用 ...
使用word2vec对微博进行情感分析和分类
Word2vec可以将词语转换为高维向量空间中的向量表示,它能揭示上下文关系.首先使用word2vec,将其训练得到词向量作为特征权重,然后根据情感词典和词性的两种特征选择方法筛选出有价值的特征,最后 ...
情感分析的新方法，使用word2vec对微博文本进行情感分析和分类
向AI转型的程序员都关注了这个号??? 大数据挖掘DT数据分析公众号: datadw 情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中.通过这种 ...
使用word2vec对新浪微博进行情感分析
原文发表于:http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6906802 本文仅是对上文的学习和复现 Word2vec可以将词 ...
python实现情感分析_使用python+机器学习方法进行情感分析(详细步骤)
使用python+机器学习方法进行情感分析(详细步骤) 2021-02-07 不是有词典匹配的方法了吗?怎么还搞多个机器学习方法.因为词典方法和机器学习方法各有千秋.机器学习的方法精确度更高,因为词典 ...
使用word2vec对新浪微博进行情感分析和分类
原文发表于:http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=6906802 本文仅是对上文的学习和复现 Word2vec可以将词 ...
[NLP]如何进行情感分析
本文介绍的是如何进行情感识别. 在自然语言中(尤其社交媒体和购物网站中),每一句话都隐含了具体的情感倾向,比如中性.正面.负面.比如:今天天气不错:今天心情不太好:苹果手机不错:地球是圆的.对于人来说 ...

情感分析之PMI互信息

情感分析之PMI互信息相关推荐

最新文章

热门文章