FCM算法与K-Means算法的聚类

1.FCM算法原理

模糊C均值（Fuzzy C-means）算法简称FCM算法，是一种基于目标函数划分的模糊聚类算法，主要用于数据的聚类分析。它的思想就是使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。
FCM把n个向量xi（i=1,2,…,n）分为c个模糊组，并求每组的聚类中心，使得非相似性指标的价值函数达到最小。FCM使得每个给定数据点用值在0，1间的隶属度来确定其属于各个组的程度。隶属矩阵U允许有取值在0，1间的元素。不过，加上归一化规定，一个数据集的隶属度的和总等于1

那么，FCM的价值函数（或目标函数）就是式（6.2）的一般化形式：
这里uij介于0，1间；ci为模糊组I的聚类中心，dij=||ci-xj||为第I个聚类中心与第j个数据点间的欧几里德距离；且m∈[1,∞)是一个加权指数。
构造如下新的目标函数，可求得使（6.10）式达到最小值的必要条件：
这里λj，j=1到n，是（6.9）式的n个约束式的拉格朗日乘子。对所有输入参量求导，使式（6.10）达到最小的必要条件为
由上述两个必要条件，模糊C均值聚类算法是一个简单的迭代过程

2.收集数据

扑克手数据集：目的是预测扑克手

（1）数据集信息
每条记录都是一张手的示例，该手由从52张标准牌组中抽出的五张纸牌组成。每张纸牌使用两个属性（西服和等级）进行描述，总共具有10个预测属性。有一个描述“扑克手”的类属性。卡的顺序很重要，这就是为什么有480张可能的皇家同花顺手而不是4张的原因。
（2）实例数量
25010培训，1,000,000测试
（3）属性数量
10个预测属性，1个目标属性
（4）属性信息

1）S1“卡牌＃1”序数（1-4），代表{心，黑桃，钻石，俱乐部}2）C1“卡片＃1的排名”数值（1-13）代表（Ace，2，3，...，Queen，King）3）S2“ 2号卡套装”序数（1-4），代表{心，黑桃，钻石，俱乐部}4）C2“卡片2级”数值（1-13）代表（Ace，2，3，...，Queen，King）5）S3“卡牌＃3”序数（1-4），代表{心，黑桃，钻石，俱乐部}6）C3“卡片＃3的排名”数值（1-13）代表（Ace，2，3，...，Queen，King）7）S4“卡牌＃4”序数（1-4），代表{心，黑桃，钻石，俱乐部}8）C4“卡片4级”数值（1-13）代表（Ace，2，3，...，Queen，King）9）S5“套卡＃5”序数（1-4），代表{心，黑桃，钻石，俱乐部}10）C5“ 5级卡片”数值（1-13）代表（Ace，2，3，...，Queen，King）11）类“扑克手”序数（0-9）0：没有东西；不是公认的扑克手1：一对；五张牌中一对相等的等级2：两对；五张牌内两对等排名3：三种 五张牌中的三个相等等级4：直 五张牌，顺序排列，无间隙5：冲洗 五张相同西装的卡6：满屋子 对+不同等级的三种7：四种 五张牌中的四个相等等级8：直冲；平直+齐平9：同花顺 {王牌，国王，女王，杰克，十岁} +同花顺

（5）训练集

  0：一无所有12493个实例（49.95202％/ 50.117739％）1：一对10599个实例（42.37905％/ 42.256903％）2：两对1206个实例（4.82207％/ 4.753902％）3：三种实例，共513个实例（2.05118％/ 2.112845％）4：平直，93个实例（0.37185％/ 0.392465％）5：同花顺，54次，（0.21591％/ 0.19654％）6：满屋，36个实例，（0.14394％/ 0.144058％）7：一种，四个，六个实例（0.02399％/ 0.02401％）8：直冲5次，（0.01999％/ 0.001385％）9：皇家同花顺5次，（0.01999％/ 0.000154％）同花顺和皇家同花顺不能代表真实域，因为它们已被过度采样。直冲在训练集中发生的可能性是14.43倍，而皇家同花顺的可能性是129.82倍。311,875,200个域中的25010个实例。

（6）测试集

括号内的值表示测试中的表示形式与整个域相比设置。1.0是完美的表示，而<1.0则代表不足，而> 1.0则代表过多。0：一无所有，501209个实例，（1.000063）1：一对422498实例（0.999832）2：两对47622个实例（1.001746）3：三种同类的21121个实例（0.999647）4：直，3885例，（0.989897）5：同花顺，1996年，实例（1.015569）6：满屋，1424个实例，（0.988491）7：四个同类，有230个实例，（0.957934）8：同花顺12例（0.866426）9：皇家同花顺3次，（1.948052）311,875,200域中的总数为100万个实例。

（7）统计

  扑克手＃手的概率＃组合的数目皇家同花顺4 0.00000154 480同花顺36 0.00001385 4320四种624 0.0002401 74880满屋子3744 0.00144058 449280冲洗5108 0.0019654 612960直式10200 0.00392464 1224000三类54912 0.02112845 6589440两对123552 0.04753902 14826240一对1098240 0.42256903 131788800一无所有1302540 0.50117739 156304800总计2598960 1.0 311875200组合的数量代表整个域中实例的数量。

3.FCM算法Matlab实现

FCM算法与K-Means算法的聚类相关推荐

kmeans改进 matlab,基于距离函数的改进k―means 算法
摘要:聚类算法在自然科学和和社会科学中都有很普遍的应用,而K-means算法是聚类算法中经典的划分方法之一.但如果数据集内相邻的簇之间离散度相差较大,或者是属性分布区间相差较大,则算法的聚类效果十分有 ...
数据挖掘--“聚类”详解、K-means、K-平均值算法、K均值算法
一. 什么是聚类二. 聚类步骤三. 聚类算法有哪些 1 层次聚类算法 2 划分聚类算法 3 基于密度的聚类算法 4 基于网格的聚类算法 5 基于模型的聚类算法一. 什么是聚类? 物以类聚,人以群 ...
k均值算法二分k均值算法_如何获得K均值算法面试问题
k均值算法二分k均值算法数据科学访谈 (Data Science Interviews) KMeans is one of the most common and important cluste ...
k均值算法二分k均值算法_使用K均值对加勒比珊瑚礁进行分类
k均值算法二分k均值算法 Have you ever seen a Caribbean reef? Well if you haven't, prepare yourself. 您见过加勒比礁吗? ...
KNN算法（K临近算法）及使用KNN算法实现手写数字0-9识别
首先感谢博主倔强的小彬雅,本文使用的素材及部分代码来源其博文机器学习入门-用KNN实现手写数字图片识别(包含自己图片转化),需要下载素材的可以到其博文最后进行下载. 关于KNN算法 knn算法也叫K临 ...
k means算法C语言伪代码,K均值算法（K-Means）
1. K-Means算法步骤算法步骤收敛性定义,畸变函数(distortion function): 伪代码: 1) 创建k个点作为K个簇的起始质心(经常随机选择) 2) 当任意一个点的蔟分配结果 ...
5 模式识别-动态聚类算法（K均值算法、迭代自组织的数据分析ISOData算法）
武汉理工大学资源郭志强动态聚类算法:先选取初始的中心(每个类别的初始中心),然后把所有的样本进行聚类分析,聚类完成后,就去判断这个聚类结果合不合理(满不满足设计指标要求),如果合理就输出聚类结果( ...
机器学习算法总结--K均值算法
参考自: <机器学习> 机器学习&数据挖掘笔记_16(常见面试之机器学习算法思想简单梳理) K-Means Clustering 斯坦福大学公开课 :机器学习课程简介 K-均值是 ...
KNN算法（K最近邻算法）详解
K 最近邻的核心数学知识是距离的计算和权重的计算.我们把需要预测的点作为中心点,然后计算其周围一定半径内的已知点距其的距离,挑选前 k 个点,进行投票,这 k 个点中,哪个类别的点多,该预测点就被判定 ...
机器学习算法基础——k近邻算法
23.k-近邻算法以及案例预测入住位置 24.K-近邻算法案例分类算法-k近邻算法(KNN) 定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本 ...