理解拉普拉斯平滑 Laplace Smoothing

平滑技术
平滑技术是为了解决训练集的数据稀松问题。
　　零概率问题，就是在计算实例的概率时，如果某个量x，在观察样本库（训练集）中没有出现过，会导致整个实例的概率结果是0。在文本分类的问题中，当一个词语没有在训练样本中出现，该词语调概率为0，使用连乘计算文本出现概率时也为0。这是不合理的，不能因为一个事件没有观察到就武断的认为该事件的概率是0。
　　一般的m阶马尔科夫链转移概率是这样训练的：

Laplace平滑
　　为了解决零概率的问题，法国数学家拉普拉斯最早提出用加1的方法估计没有出现过的现象的概率，所以加法平滑也叫做拉普拉斯平滑。
　　假定训练样本很大时，每个分量x的计数加1造成的估计概率变化可以忽略不计，但可以方便有效的避免零概率问题。
应用举例
　　假设在文本分类中，有3个类，C1、C2、C3，在指定的训练样本中，某个词语K1，在各个类中观测计数分别为0，990，10，K1的概率为0，0.99，0.01，对这三个量使用拉普拉斯平滑的计算方法如下：
　　1/1003 = 0.001，991/1003=0.988，11/1003=0.011

在实际的使用中也经常使用加 a（1≥a≥0）来代替简单加1。如果对N个计数都加上a，这时分母也要记得加上N*a。

内容转载自：
1、https://blog.csdn.net/zhengwantong/article/details/72403808
2、https://www.cnblogs.com/bqtang/p/3693827.html

理解拉普拉斯平滑 Laplace Smoothing相关推荐

平滑处理--拉普拉斯（Laplace Smoothing）
拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比较常用的平滑方法.平滑方法的存在时为了解决零概率问题. 背景:为什么要做平滑处理? 零概率问题,就是在计算实例的概率 ...
通俗理解拉普拉斯算子(Laplace)
离散的一阶微分离散的一阶微分定义为差分,如二维离散函数 f(x,y)\ f(x,y) f(x,y) (图像其实就可以看作一种二维离散函数,因为其反映的是不同像素点在x 和 y 轴方向上灰度的变化)在 ...
[CS229学习笔记] 5.判别学习算法与生成学习算法，高斯判别分析，朴素贝叶斯，垃圾邮件分类，拉普拉斯平滑
本文对应的是吴恩达老师的CS229机器学习的第五课.这节课介绍了判别学习算法和生成学习算法,并给出了生成学习算法的一个实例:利用朴素贝叶斯进行垃圾邮件分类. 判别学习(Discriminative L ...
Laplace Smoothing
拉普拉斯平滑(Laplace Smoothing) 拉普拉斯平滑(Laplace Smoothing)又称为加 1 平滑,是比较常用的平滑方法.平滑方法的存在时为了解决零概率问题. 一.为什么要做平滑 ...
朴素贝叶斯拉普拉斯平滑（Laplace Smoothing）
转自:https://blog.csdn.net/qq_25073545/article/details/78621019 拉普拉斯平滑(Laplace Smoothing)又被称为加 1 平滑,是比 ...
神奇的拉普拉斯平滑（Laplacian Smoothing）及其在正则化上的应用~
之前的博客介绍过自己对于正则化的理解,经过这段时间的进一步接触,尤其是看了一些关于这一方面的paper,做了一些简短的实验,发现正则化真是一个很给力的建模方法.近期,看到了Laplacian Smoo ...
【简单理解】自然语言处理-平滑方法(Smoothing)
[简单理解]自然语言处理-平滑方法(Smoothing) 简单介绍平滑策略平滑策略的引入,主要使为了解决语言模型计算过程中出现的零概率问题.零概率问题又会对语言模型中N-gram模型的Perplex ...
Laplace(拉普拉斯)平滑
平滑技术平滑技术是为了解决训练集的数据稀松问题. 零概率问题,就是在计算实例的概率时,如果某个量x,在观察样本库(训练集)中没有出现过,会导致整个实例的概率结果是0.在文本分类的问题中,当一个词语没 ...
机器学习（十九）——拉普拉斯光顺（Laplace smoothing）
原文:http://cs229.stanford.edu/notes/cs229-notes2.pdf 我们已经描述过的朴素贝叶斯算法能够很好地解决许多问题,但是有一个简单的改变使得它更好地工作,特别 ...
转载：全局拉普拉斯平滑之（1）Strucutre extraction from texture via relative total variation及稀疏矩阵求解...
全局拉普拉斯平滑之(1)Strucutre extraction from texture via relative total variation及稀疏矩阵求解 2018年01月31日 22:04: ...

理解拉普拉斯平滑 Laplace Smoothing

理解拉普拉斯平滑 Laplace Smoothing相关推荐

最新文章

热门文章