FCM——（Fuzzy C-means）模糊C均值算法

FCM算法是一种基于划分的聚类算法，它的思想就是使得被划分到同一簇的对象之间相似度最大，而不同簇之间的相似度最小。模糊C均值算法是普通C均值算法的改进，普通C均值算法对于数据的划分是硬性的，而FCM则是一种柔性的模糊划分。

模糊聚类的目标函数：

$$$ J\left( {U,V} \right) = \sum\limits_{i = 1}^c {\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} }$

与K-means算法区别在于目标函数

$$$ J\left( V \right) = \sum\limits_{i = 1}^c {\sum\limits_{{x_k} \in {V_i}} {{{\left( {{d_{ik}}} \right)}^2}} }$

式中：

$$$ U{\rm{ = }}\left[ {{u_{ik}}} \right]$ ：隶属度矩阵

$u_{ik}$ ：第 $k$ 个样本对第 $i$ 类的隶属度，0到1之间。

	1	2	...	n
1
2
...
c

$$$ {\left( {{d_{ik}}} \right)^2}{\rm{ = }}{\left\| {{x_k} - {v_i}} \right\|^2}$ ：样本 $x_k$ 与聚类中心 $v_i$ 的欧式距离。

FCM算法的约束条件：某个样本对各个聚类的隶属度之和为1，即 $$$ \sum\limits_{i = 1}^c {{u_{ik}} = 1}$

FCM算法的目标：

$$$ \min \left\{ {J\left( {U,V} \right)} \right\}\quad = \quad \min \left\{ {\sum\limits_{k = 1}^n {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} } } \right\}\quad \, = \quad \sum\limits_{k = 1}^n {\left\{ {\min \left[ {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2}} } \right]} \right\}}$

构造新的函数 $F \left(U,V,\lambda \right )$ ：

$$$ F\left( {U,V,\lambda } \right) = \sum\limits_{k = 1}^n {\sum\limits_{i = 1}^c {{{\left( {{u_{ik}}} \right)}^m}{{\left( {{d_{ik}}} \right)}^2} + \sum\limits_{k = 1}^n {\lambda \left( {\sum\limits_{i = 1}^c {{u_{ik}}} - 1} \right)} } }$

其中，

$\lambda$ ：Lagrange乘子， $$$ {\left( {{d_{ik}}} \right)^2}\;{\rm{ = }}\;{\left\| {{x_k} - {v_i}} \right\|^2}$

对 $F$ 函数求极值的最优化条件如下：

$$$ \frac{{\sigma F}}{{\sigma \lambda }} = \sum\limits_{i = 1}^c {{u_{ik}}} - 1 = 0$ （1）

$$$ \frac{{\sigma F}}{{\sigma {u_{ik}}}} = m{\left( {{u_{ik}}} \right)^{m - 1}}{\left( {{d_{ik}}} \right)^2} + \lambda = 0$ （2）

$$$ \frac{{\sigma F}}{{\sigma {v_i}}} = \;\;\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^2}\quad \quad \left( { - 2} \right)\quad \quad \left( {{x_k} - {v_i}} \right)} = 0$ （3）

求解得：

$$$ {u_{ik}} = \frac{1}{{\sum\limits_{j = 1}^c {{{\left( {\frac{{{d_{ik}}}}{{{d_{jk}}}}} \right)}^{\frac{2}{{m - 1}}}}} }}\quad ,\quad {v_i} = \frac{{\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{x_k}} }}{{\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}} }}$

求解过程，由（2）得

$$$ {u_{ij}} = \quad {\left( {\frac{{ - \lambda }}{m}\quad \quad \frac{1}{{\left\| {{x_i} - {v_k}} \right\|}}} \right)^{\frac{2}{{m - 1}}}}\quad = \quad \quad {\left( {\frac{{ - \lambda }}{m}} \right)^{\frac{2}{{m - 1}}}}\quad \quad \frac{1}{{{{\left\| {{x_i} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}}\frac{1}{2}$

代入 $$$ \sum\limits_{i = 1}^c {{u_{ik}} = 1}$ 得，

$$$ \sum\limits_{p = 1}^c {\left[ {{{\left( {\frac{{ - \lambda }}{m}} \right)}^{\frac{2}{{m - 1}}}}\quad \quad \frac{1}{{{{\left\| {{x_p} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}}} \right]} = 1$

$$$ \Rightarrow {\left( {\frac{{ - \lambda }}{m}} \right)^{\frac{2}{{m - 1}}}}\quad \cdot \quad \sum\limits_{p = 1}^c {\left( {\frac{1}{{{{\left\| {{x_p} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}}} \right) = 1}$

$$$ \Rightarrow {\left( {\frac{{ - \lambda }}{m}} \right)^{\frac{2}{{m - 1}}}} = \frac{1}{{\sum\limits_{p = 1}^c {\left( {\frac{1}{{{{\left\| {{x_p} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}}} \right)} }}$

所以，

$$$ {u_{ik}}\quad = \quad \quad \frac{1}{{\sum\limits_{p = 1}^c {\left( {\frac{1}{{{{\left\| {{x_p} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}}} \right)} }}\quad \cdot \quad \frac{1}{{{{\left\| {{x_i} - {v_k}} \right\|}^{\frac{2}{{m - 1}}}}}} \quad =\quad \frac{1}{{\sum\limits_{p = 1}^c {{{\left( {\frac{{\left\| {{x_i} - {v_k}} \right\|}}{{\left\| {{x_p} - {v_k}} \right\|}}} \right)}^{\frac{2}{{m - 1}}}}} }}$

由（3）得，

$$$ \frac{{\sigma F}}{{\sigma {v_i}}} = \;\;\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^2}\quad \quad \left( { - 2} \right)\quad \quad \left( {{x_k} - {v_i}} \right)} {\rm{ = }}0$

$$$ \Rightarrow \sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{x_k}} - \sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{v_j}} = 0$

$$$ \Rightarrow {v_j}\;\;{\rm{ = }}\;\;\frac{{\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}{x_k}} }}{{\sum\limits_{k = 1}^n {{{\left( {{u_{ik}}} \right)}^m}\;} }}$

FCM算法步骤

用值0,1之间的随机数初始化隶属度矩阵 $U$ 。
计算各聚类中心 $$$ {c_i},i = 1,...,c$
计算价值函数，如果它小于某个确定的阈值，或它相对上次价值函数值得改变量小于某个阈值，则算法停止。
计算新的隶属度矩阵 $U$ ，返回步骤（2）。

注意

上述算法也可以先初始化聚类中心，然后再执行迭代过程。由于不能确保FCM收敛于一个最优解。算法的性能依赖于初始聚类中心。因此，我们要么用另外的快速算法确定初始聚类中心，要么每次用不同的初始聚类中心启动该算法，多次运行FCM。

FCM算法应用

通过上面的讨论，我们不难看出FCM算法需要两个参数一个是聚类数目C，另一个是参数m。一般来讲C要远远小于聚类样本的总个数，同时要保证C>1。对于m，它是一个控制算法的柔性的参数，如果m过大，则聚类效果会很次，而如果m过小则算法会接近HCM聚类算法。

算法的输出是C个聚类中心点向量和C*N的一个模糊划分矩阵，这个矩阵表示的是每个样本点属于每个类的隶属度。根据这个划分矩阵按照模糊集合中的最大隶属原则就能够确定每个样本点归为哪个类。聚类中心表示的是每个类的平均特征，可以认为是这个类的代表点。

从算法的推导过程中我们不难看出，算法对于满足正态分布的数据聚类效果会很好，另外算法对孤立点是敏感的。

FCM——（Fuzzy C-means）模糊C均值算法相关推荐

K-means算法和模糊C均值算法对比
目录数据集来源模糊C均值算法原理模糊理论的数学基础(模糊集合) 定义表示方法 Zadeh表示法序偶表示法向量表示法隶属函数隶属函数确定方法模糊关系定义实现步骤应用代码实现 ...
Fuzzy C-Means Clustering(模糊C均值)
别看了有错的我懒得改了强推https://www.bilibili.com/video/BV18J411a7yY?t=591 看完你还不会那我也没办法了 \ 算法原理模糊c-均值聚类算法 ...
r语言实现模糊c均值算法,R语言基本统计分析方法（包及函数）
转载自:http://blog.csdn.net/s04023083/article/details/40344273 摘要:目前经典的统计学分析方法主要有回归分析,Logistic回归,决策树,支持 ...
算法-聚类-K均值与模糊K均值：原理+python代码
这篇文章是根据作业修改后得到的,个人感觉写的比较详细了.但还有许多不足,希望大家评论指出. K均值聚类与模糊K均值 1. 算法原理及流程相关名词解释如表1. 表1-相关名词解释 1.1 K均值算法原 ...
【图像分割】基于FCM和改进的模糊聚类FCM实现脑部CT图像分割matlab源码
FCM算法是一种基于划分的聚类算法,它的思想就是使得被划分到同一簇的对象之间相似度最大,而不同簇之间的相似度最小.模糊C均值算法是普通C均值算法的改进,普通C均值算法对于数据的划分是硬性的,而FCM则 ...
模糊C均值聚类（Fuzzy C-means）算法（FCM）
一.FCM算法简介 1.模糊集理论 L.A.Zadeh在1965年最早提出模糊集理论,在该理论中,针对传统的硬聚类算法其隶属度值非0即1的严格隶属关系,使用模糊集合理论,将原隶属度扩展为 0 到 1 ...
php fuzzy,模糊C均值聚类算法（Fuzzy C-means）
模糊c均值聚类与k均值聚类区别 k均值聚类 k均值聚类的实现中,把每个样本划分到单一的类别中,亦即是每个样本只能属于一种类别,不能属于多种类别.这样的划分,称为硬划分. 模糊c均值均类为了解决硬划分 ...
聚类算法及python实现——模糊C均值(FCM)
聚类算法及python实现--模糊C均值(FCM) 模糊C和K均值的区别 K均值:硬聚类,隶属度只有0和1,基于"类内误差平方和最小化"原则模糊C:模糊聚类,隶属度取值为[0,1 ...
【主色提取】模糊C均值(FCM )聚类算法和彩色图像快速模糊C均值( CIQFCM )聚类算法
系列文章目录第一章主色提取入门之FCM 和 CIQFCM 目录系列文章目录前言一.FCM 聚类算法 1 基本思想编辑 2 FCM 的缺陷二.CIQFCM 聚类算法 1 集群空间映射 1 ...
python计算iris数据集的均值_模糊C均值聚类算法及python实现
目录本文采用数据集为iris,将iris.txt放在程序的同一文件夹下.请先自行下载好. 模糊理论模糊控制是自动化控制领域的一项经典方法.其原理则是模糊数学.模糊逻辑.1965,L. A. Zad ...

FCM——（Fuzzy C-means）模糊C均值算法

FCM——（Fuzzy C-means）模糊C均值算法相关推荐

最新文章

热门文章