朴素贝叶斯分类matlab实现

实验二 朴素贝叶斯分类一、实验目的通过实验，加深对统计判决与概率密度估计基本思想、方法的认识，了解影响 Bayes分类器性能的因素，掌握基于 Bayes 决策理论的随机模式分类的原理和方法。二、实验内容设计 Bayes 决策理论的随机模式分类器，用 matlab 实现。三、方法手段Bayes 分类器的基本思想是依据类的概率、概密，按照某种准则使分类结果从统计上讲是最佳的。换言之，根据类的概率、概密将模式空间划分成若干个子空间，在此基础上形成模式分类的判决规则。准则函数不同，所导出的判决规则就不同，分类结果也不同。使用哪种准则或方法应根据具体问题来确定。四、Bayes 算法朴素贝叶斯分类或简单贝叶斯分类的工作过程如下：(1)每个数据样本用一个 n 维特征向量 表示，分别描述对 n 个属性12,.nXxA1,A2,…An 样本的 n 个度量。(2)假定有 m 个类 C1,C2,…Cm。给定一个未知的数据样本 X(即没有类标号) ，分类法将预测 X 属于具有最高后验概率(条件 X 下)的类。即是说，朴素贝叶斯分类将未知的样本分配给类 Ci，当且仅当(2.1),,ijPji这样，最大化 。其 最大的类 Ci 称为最大后验假定。根据贝叶斯定理iXiPC，HPXP(2.2)iiiPXC(3)由于 P(X)对于所有类为常数，只需要 最大即可。如果类的先验概iiPXC率未知，则通常假定这些类是等概率的，即 P(C1)=P(C2)=…=P(Cm)。并据此只对最大化。否则，最大化 。注意，类的先验概率可以用 计iPXCiiPXCiiPCs算其中si 是类 Ci 中的训练样本数，而 s 是训练样本总数。(4)给定具有许多属性的数据集，计算 的开销可能非常大。为降低计算i的开销，可以做类条件独立的朴素假定。给定样本的类标号，假定属性值相互条iPX件独立，即在属性间，不存在依赖关系。这样，(2.3)1nikikPXCpx概率 ， ，… 可以由训练样本估值，其中1iPX2ini1)如果 Ak 是分类属性，则 ，其中 sik 是在属性 Ak 上具有值 xk 的类kiiksCi 的样本数，而 si 是 Ci 中的训练样本数。2)如果 Ak 是连续值属性，则通常假定该属性服从高斯分布，因而，(2.4)221,2Ciii ikikCCxkPXgxe其中，给定类 Ci 的训练样本属性 Ak 的值， 是属性 Ak 的高斯密度函数，而,iikgx分别为平均值和标准差。,iiC(5)为对未知样本 X 分类，对每个类 Ci，计算 。样本 X 被指派到类iiPXCCi，当且仅当 ,1,iijjPmji换言之，X 被指派到其 最大的类 Ci。iiXC例 使用朴素贝叶斯分类预测类标号：RID Age Income Student Credit_rating Class:buys_computer1 40 Medium No Fair Yes5 40 Low Yes Fair Yes6 40 Low Yes Excellent No7 31…40 Low Yes Excellent Yes8 40 Medium Yes Fair Yes11 40 Medium No Excellent No给定与判定树归纳相同的训练数据，我们希望使用朴素贝叶斯分类预测一个未知样本的类标号。训练数据在表 7.1 中。数据样本用属性 age，income，student 和 credit_rating 描述。类标号属性 buys_computer 具有两个不同值(即(yes,no) ) 。设 C1 对应于类buys_computer=“yes”，而 C2 对应于类 buys_computer=“no”。我们希望分类的样本为 “30,“,“,_“Xageincomediustenyscreditangfir我们需要最大化 ，i=1,2。每个类的先验概率 P(Ci)可以根据训练样本计算：iiPCP(buys_computer=”yes”)=9/14=0.643P(buys_computer=”no”)=5/14=0.357为计算 ，i=1,2 ，我们计算下面的条件概率：iXP(age=”30”|buys_computer=”yes”) =2/9=0.222P(age=”30”|buys_computer=”no”) =3/5=0.222P(income=”medium”|buys_computer=”yes”) =4/9=0.444P(income=”medium”|buys_computer=”no”) =2/5=0.400P(student=”yes”|buys_computer=”yes”) =6/9=0.667P(student=”yes”|buys_computer=”no”) =1/5=0.200P(credit_rating=”fair”|buys_computer=”yes”) =6/9=0.667P(credit_rating=”fair”|buys_computer=”no”) =2/5=0.400使用以上概率，我们得到：P(X|buys_computer=”yes”)=0.222×0.444×0.667×0.667=0.044P(X|buys_computer=”no”)=0.600×0.400×0.200×0.400=0.019P(X|buys_computer=”yes”)P(buys_computer=”yes”)=0.044×0.643=0.028P(X|buys_computer=”no”)P(buys_computer=”no”)=0.019×0.357=0.007因此，对于样本 X，朴素贝叶斯分类预测 buys_computer=”yes”。五、实验结果训练数据 train1.txt 内容及格式如下：需要分类的数据(预测数据)predict1.txt 如下：程序执行结果如下：六、实验总结贝叶斯分类的效率如何？理论上讲，与其它所有分类算法相比较，贝叶斯分类具有最小的出错率。然而，实践中并非总是如此。这是由于对其应用的假定(如类条件独立性)的不准确性，以及缺乏可用的概率数据造成的。然而种种实验研究表明，与决策树和神经网络分类算法相比，在某些领域，该分类算法可以与之媲美。贝叶斯分类还可以用来为不直接使用贝叶斯定理的其他分类算法提供理论判定。例如，在某种假定下，可以证明正如朴素贝叶斯分类一样，许多神经网络和曲线拟合算法输出最大的后验假定。七、Batyes 程序function out=my_bayes(X,Y)%X 为原数据集,Y 是要预测的数据，out 是返回预测的结果%%%%%%%%%%%%%%%%%%%%%%打开 test.txt 文件clc;file = textread( train1.txt , %s , delimiter , \n , whitespace , );[m,n]=size(file);for i=1:mwords=strread(file{