逻辑斯蒂回归、朴素贝叶斯

逻辑斯蒂回归
- 逻辑斯蒂分布(增长分布)：F(X) = P(X<=x) = 1/(1+e^(-(X-u)/γ))
  该分布曲线以（u，1/2）作为中心对称点
- sigmod函数（亦称作Logistic函数）
  作用：将一个实数映射到（0，1）区间
  函数表达：s(X) = 1/(1+e^(-x)); 性质：当X趋近正无穷时，取值为1；当X趋近于负无穷时，取值为0；
  sigmod函数被用作激活函数：
  什么是激活函数？
  使用激活函数将非线性的特性引入到网络模型中；
- 二项逻辑斯蒂回归思想：
  用线性回归的输出作为sigmod函数的输入，将其映射到（0，1）之间，可以视作概率，比较概率大小得出结果；
- 损失函数
  logistic回归无法使用线性回归的均方误差来定义损失函数，因为它为二分类问题，我们可以得出它的概率分布函数，然后通过似然函数求解最优参数；
  
  为了方便计算，我们采用对数似然函数进行求导求解最优参数；
  计算二元逻辑回归损失函数的优化方式：
  梯度下降法；
  牛顿法；
朴素贝叶斯
朴素贝叶斯的思想：利用训练数据得出变量的联合概率分布，然后求出最大后验概率分布得出分类结果；
1）联合概率分布 P(X,Y) = P(Y)*P(X|Y)
2) 利用朴素贝叶斯需要前提假定，即条件独立性；例如P(X=x1,X=x2|Y) = P(X=x1|Y)*P(X=x2|Y)
3) 计算后验概率分布 P(Y|X) = P(X,Y)/P(X) 分子为联合概率分布，分母为X的边际分布（也可运用全概率公式）
当输入X特征时，可以得到属于Y类别的概率

我们可以采用最大化后验概率得到分类结果；因为针对所有分类P(X)相同，我们只需最大化分子来代替；
argmax(P(X,Y)) = argmax(P(Y)*P(X|Y)) 该结果返回分类结果作为f(X)

特殊：再选用0-1函数作为损失函数条件下,损失函数定义为： 1 if 预测类别=真实类别 else 0；
一个特征向量的输入可能会输出多种分类结果，这里采用期望风险最小化；(再该条件下，期望风险最小化等价于后验概率最大化)
即输入特定X特征向量然后输出结果与真实结果的损失的期望

逻辑斯蒂回归、朴素贝叶斯相关推荐

线性回归与逻辑回归/朴素贝叶斯
一.线性回归与逻辑回归 (一)线性回归 1. 算法概述回归的目的是预测数值型的目标值. 线性回归的优点:结果易于理解,计算上不复杂.缺点:对非线性的数据拟合不好.适用数据类型:数值型和标称型数据. ...
朴素贝叶斯半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析
朴素贝叶斯半朴素贝叶斯 In this article, we'll show you how to classify a tweet into either positive or negativ ...
三种常用的朴素贝叶斯实现算法——高斯朴素贝叶斯、伯努利朴素贝叶斯、多项式朴素贝叶斯
朴素贝叶斯在机器学习中,朴素贝叶斯分类器是一系列以假设特征之间强(朴素)独立下运用贝叶斯定理为基础的简单概率分类器. 朴素贝叶斯算法Naive Bayes定义中有两个关键定义:特征之间强假设独立和贝 ...
机器学习之贝叶斯（贝叶斯定理、贝叶斯网络、朴素贝叶斯）
一.概率知识点复习 (1)条件概率就是事件A在另外一个事件B已经发生条件下的发生概率.条件概率表示为P(A|B),读作"在B条件下A的概率". (2)联合概率可以简单的理解为事 ...
贝叶斯理论，朴素贝叶斯算法
贝叶斯原理是英国数学家托马斯·贝叶斯提出的.贝叶斯是个很神奇的人,他的经历类似梵高.生前没有得到重视,死后,他写的一篇关于归纳推理的论文被朋友翻了出来,并发表了.这一发表不要紧,结果这篇论文的思想直接 ...
【机器学习】贝叶斯分类（通过通俗的例子轻松理解朴素贝叶斯与半朴素贝叶斯）
贝叶斯分类贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类.而朴素朴素贝叶斯分类是贝叶斯分类中最简单,也是常见的一种分类方法.这篇文章我尽可能用直白的话语总结一下我们 ...
机器学习：贝叶斯分类器，朴素贝叶斯，拉普拉斯平滑
数学基础: 数学基础是贝叶斯决策论Bayesian DecisionTheory,和传统统计学概率定义不同. 频率学派认为频率是是自然属性,客观存在的. 贝叶斯学派,从观察这出发,事物的客观随机性只是 ...
用python实现朴素贝叶斯算法_朴素贝叶斯算法 python 实现
应用贝叶斯准则: 使用上面这些定义,可以定义贝叶斯分类准则为: 如果 P(c1|x, y) > P(c2|x, y), 那么属于类别 c1; 如果 P(c2|x, y) > P(c1|x, ...
朴素贝叶斯算法_朴素贝叶斯算法原理
摘要:本文介绍了贝叶斯公式,并根据公式而产生的朴素贝叶斯分类算法在机器学习中的应用,并列举了朴素贝叶斯分类算法的优缺点. 1贝叶斯公式的理解贝叶斯定理(Bayes' theorem)是概率论中的一个 ...
【人工智能】— 不确定性、先验概率/后验概率、概率密度、贝叶斯法则、朴素贝叶斯、最大似然估计
[人工智能]- 不确定性不确定性不确定性与理性决策基本概率符号先验概率(无条件概率)/后验概率(条件概率) 随机变量概率密度联合概率分布公理完全联合分布概率演算独立性贝叶斯法则 ...

逻辑斯蒂回归、朴素贝叶斯

逻辑斯蒂回归、朴素贝叶斯相关推荐

最新文章

热门文章