概述

将模糊粗糙集应用于现实时，粒度和近似是两个问题。迄今为止所进行的研究几乎全部集中在定义模糊近似算子上，而很少研究从数据中提取模糊关系的问题。如何有效从数据中生成模糊相似关系呢？

下述表格展示了一些模糊推理常用的运算符。

核化模糊粗糙集模型

满足自反性k(x,x)=1k(x,x)=1k(x,x)=1,对称性k(x,y)=k(y,x)k(x,y)=k(y,x)k(x,y)=k(y,x),以及传递性Tcos−transitiveT_{cos}-transitiveTcos−transitive的一些常用核函数：

用以上核函数可以代替模糊粗糙集中的模糊关系。

模糊下近似和上近似算子被定义为：

对于任何模糊粗糙子集{Ai:i∈I}∈F(U)\{A_i:i\in I\}\in F(U){Ai:i∈I}∈F(U)，有以下的性质：

假设kkk为UUU上由核函数k(x,y)k(x,y)k(x,y)计算而来的T-equivalence关系，对于∀X∈F(U)\forall X\in F(U)∀X∈F(U)有以下的状态成立：

1-4的性质可以从核函数的自反性得知，5-6的性质是从核函数的对称性衍生的，7的性质是出于核函数的传递性。

对于k‾S,k‾T,k‾θ,k‾σ\underline k_S,\overline k_T, \underline k_θ, \overline k_σkS,kT,kθ,kσ有以下的性质：

核函数近似分类

现在我们考虑用核函数分类的模糊下近似：

通常，分类可以表述为<U,A,D><U,A,D><U,A,D>，UUU是非空且有限的样本集，AAA是表征分类的特征集，DDD是将样本分成子集{d1,d2,...,dk}\{d_1,d_2,...,d_k\}{d1,d2,...,dk}的决策属性。对于∀x∈U\forall x\in U∀x∈U:

假设核函数kkk被用来计算样本之间的模糊相似关系。然后，我们核函数推导的模糊粒子近似出决策子集。下面我们假设第iii类为一个例子。

以上，我们用给定的核函数建立了计算上下近似的算法：

我们有定理：给出一个分类问题<U,A,D><U,A,D><U,A,D>，did_idi为其中的一个决策类，∀x∈U,ks‾di(x)≤kθ‾di(x)\forall x \in U, \underline{k_s}d_i(x) \leq \underline{k_θ}d_i(x)∀x∈U,ksdi(x)≤kθdi(x)，kT‾di(x)≥kσ‾di(x)\overline{k_T}d_i(x)\geq\overline {k_σ}d_i(x)kTdi(x)≥kσdi(x)，证明略。

接下来我们思考高斯核函数来解释基于核函数模糊近似的本质：

如果x∈dix\in d_ix∈di，我们需要从其他的类中找到最近邻来计算下近似。我们将1−exp(−∣∣x−y∣∣2σ)1-exp(-\frac{||x-y||^2}{σ})1−exp(−σ∣∣x−y∣∣2)作为广义上的距离函数，xxx对它的所在类的隶属度取决于不同类所包含的距离最近的样本。

但是，如果x∉dix\not\in d_ix∈di，那么距离xxx距离最近的样本就是自身。在这种情况下，kS‾di(x)=0\underline{k_S}d_i(x)=0kSdi(x)=0，因为k(x,x)=1k(x,x)=1k(x,x)=1。

2.类推进行分析，如果：

否则：

3.如果x∈dix\in d_ix∈di，那么kT‾di(x)=supy∈dik(x,y)\underline{k_T}d_i(x)=sup_{y\in {d_i}}k(x,y)kTdi(x)=supy∈dik(x,y)。显然；

4.如果x∉dix\not\in d_ix∈di，我们需要找到一个样本y∈diy\in d_iy∈di求值：

这意味着yyy必须是在did_idi中最邻近xxx的样本。

5.（下述分析其实和上面大同小异而且很好看懂，我就直接搬过来了）

6.

上述分析展现了样本xxx对于自身决策类的下近似隶属度是由不同决策类中的距离最近的样本决定的，并且xxx对于其他决策类的下近似隶属度为0。

相应地，xxx对于自身决策类的上近似隶属度始终为1，并且xxx对于其他决策类的上近似隶属度取决于那个类中的距离最近的样本。

此外，不同的核函数定义也会导致下近似和上近似的不同计算。

例1：给定一个分类任务，在这个任务中我们遇到十二个样本。如Table 3所示：

每个样本都通过某个条件属性AAA来表示，DDD是一个双值决策变量，假设双值分别为d1d_1d1和d2d_2d2。

我们考虑用高斯核函数来计算样本之间的相似关系。内核参数δ=0.2δ=0.2δ=0.2。接下来我们用上下近似的共四种核函数，计算样本x1x_1x1与决策类d1,d2d1,d2d1,d2上下近似的隶属度。

在这个例子之中，
从下近似的角度出发:
x1x_1x1以不同核函数计算出的0.7276和0.9622的隶属度确切属于d1d_1d1的决策类。
从上近似的角度出发：
x1x_1x1以不同核函数计算出的0.2724和0.0378的隶属度可能属于d2d_2d2的决策类。
从中我们有性质：

在Fig.2Fig.2Fig.2中，我们展现了d1d_1d1决策类和d2d_2d2决策类的模糊下近似和上近似的隶属度值，在这里LM1LM1LM1和LM2LM2LM2是样本对于d1d_1d1决策类和d2d_2d2决策类的下近似隶属度，UM1UM1UM1和UM2UM2UM2是样本对于d1d_1d1决策类和d2d_2d2决策类的上近似隶属度。

近似质量的表征

经典粗糙集模型中，定义了一些量化系数来表征近似质量。在这里我们推广这些系数，来处理模糊近似的情况，并讨论一些新的放啊我。

显然，kS‾di,kθ‾di,kT‾di,kσ‾di\underline{k_S}d_i,\underline{k_θ}d_i,\overline{k_T}d_i,\overline{k_σ}d_ikSdi,kθdi,kTdi,kσdi，并且我们有性质：kS‾di⊆di⊆kT‾di\underline{k_S}d_i\subseteq d_i \subseteq \overline{k_T}d_ikSdi⊆di⊆kTdi 以及 kθ‾di⊆di⊆kσ‾di\underline{k_θ}d_i\subseteq d_i \subseteq \overline{k_σ}d_ikθdi⊆di⊆kσdi

令XXX一个模糊子集，则XXX的基数被定义为∣X∣=∑x∈UX(x)|X|=\sum_{x\in U}X(x)∣X∣=∑x∈UX(x)，这里X(x)X(x)X(x)是xxx对于XXX的隶属度。

模糊子集XXX在近似空间内的近似精度可以被定义为：

模糊子集XXX在近似空间内的近似质量可以被定义为：

给定分类问题<U,A,D><U,A,D><U,A,D>，kkk为特征空间中的B⊆AB\subseteq AB⊆A核函数，UUU被不同的决策属性被分为{d1,d2,...,dI}\{d_1,d_2,...,d_I\}{d1,d2,...,dI}。DDD基于BBB的模糊正域被定义为：

这里I是等价类的数量。

而近似分类质量被定义为：

分类质量系数反映了近似的近似能力，或由属性子集BBB推导出的粒化空间表征决策的能力。这些系数也被称为决策与条件属性之间的dependencydependencydependency。我们认为决策DDD通过γBS(D)γ^S_B(D)γBS(D)或γBθ(D)γ^θ_B(D)γBθ(D)取决于BBB，表述为：B⇒γDB\Rightarrow_{γ}DB⇒γD

给定分类问题<U,A,D><U,A,D><U,A,D>，B1⊆B2⊆AB_1\subseteq B_2 \subseteq AB1⊆B2⊆A，k1,k2k1,k2k1,k2分别为特征空间中的B1,B2B_1,B_2B1,B2的核函数：我们有以下性质：

证明的讲解略。

上面的性质表明了随着特征的增多，近似能力，近似精度以及近似分类质量单调增加。这些性质和我们的直觉是一致的。新的特征可能会带来有关粒度和分类的新信息。对应的，具有更多特征的近似空间会变得更加精确，并且在更精确的近似空间中生成更精确的近似。

上面的系数反映的是由核函数推到的粒化或近似空间中集合的近似质量。我们可以对样本的分类确定性进行如下的定义：

给定分类问题<U,A,D><U,A,D><U,A,D>，kkk为特征空间中的B⊆AB\subseteq AB⊆A核函数，UUU被不同的决策属性被分为{d1,d2,...,dI}\{d_1,d_2,...,d_I\}{d1,d2,...,dI}。若x∈dlx\in d_lx∈dl，我们定义样本xxx在特征空间BBB中的分类质量为：

样本的分类确定性之和揭示了相应特征空间中的总体分类确定性。

定义BBB的分类确定性为：

在这一节里面，我们介绍了一些系数来表征空间中集合的近似性质和分类的近似性质。此外，我们还讨论了样本和粒化空间的分类确切性。

核化模糊粗糙集和Relief系列算法之间的关系

Relief和它的变体ReliefF,RReliefF以及I-Relief是一系列著名的特征评估和分类和回归的属性加权技术，我们将扩展Dependency和分类确定性的度量。

最原始版本的Relief的中心思想，是根据他们区分样本的性能来评估属性的重要性。对于具有决策属性did_idi的任意样本xxx，Relief搜索它的两个最近邻，一个源于did_idi，我们将其称为(nearest hit)HHH，还有来自不同决策类的样本，我们称为(nearest miss)MMM.

然后距离差用来估计样本分类的可信度:
∣∣M−x∣∣−∣∣H−x∣∣||M-x||-||H-x||∣∣M−x∣∣−∣∣H−x∣∣，这里∣∣M−x∣∣||M-x||∣∣M−x∣∣是广义上的距离函数。整体来看，∑x∈U∣∣M−x∣∣−∣∣H−x∣∣\sum_{x\in U}||M-x||-||H-x||∑x∈U∣∣M−x∣∣−∣∣H−x∣∣被用来评估特征的质量。如果有很多可行的样本，原始数据中能够随意提取样本子集，并且利用所生成的样本子集来估计特征质量。以下是算法流程（WWW表述为W(A)W(A)W(A)更恰当）：

Relief算法在同一个类内和类外搜索某个样本两个最近的样本，以估计样本的分类确定性。直觉上，我们希望样本远离不同类别的样本，接近同一个决策的样本。事实上，模糊上下近似在核化模糊粗糙集中有相似的思想。

给定<U,A,D><U,A,D><U,A,D>，假设样本被分为两类{d1,d2},x∈d1\{d_1,d_2\},x\in d_1{d1,d2},x∈d1，类内最近样本为MMM，那么xxx对于模糊下近似的隶属度可以有下述计算：
设ϕ\phiϕ为输入空间AAA到特征空间FFF的非线性映射，并且k(x,y)=<ϕ(x),ϕ(y)>k(x,y)=<\phi(x),\phi(y)>k(x,y)=<ϕ(x),ϕ(y)>，然后有：

其中∣∣∙∣∣||\bullet||∣∣∙∣∣是2-范数的向量。我们推断
换句话说，xxx对于所属类的模糊下近似的隶属度，是这个样本在核空间中的类间最近距离。

相似的，我们也可以定义1−exp2(−∣∣x−M∣∣2δ)\sqrt{1-exp^2(-\frac{||x-M||^2}{δ})}1−exp2(−δ∣∣x−M∣∣2)为核空间推导的高斯函数距离。不同的核函数和模糊算子对应了不同的距离度量。

如同之前的分析，xxx对于所属决策类的上近似的隶属度kT‾di(x)=1\overline {k_T}d_i(x)=1kTdi(x)=1，我们可以在定义上稍微做出一些改进：

令HHH为xxx的类内最近样本，H≠xH\not=xH=x，那么2kT′‾di(x)=k(x,H)=1−∣∣ϕ(x)−ϕ(H)∣∣2/22\overline{k^{'}_T}d_i(x)=k(x,H)=1-||\phi(x)-\phi(H)||^2/22kT′di(x)=k(x,H)=1−∣∣ϕ(x)−ϕ(H)∣∣2/2

我们在核空间中计算Relief系数：

这里展示了ReliefReliefRelief是核空间中下近似和上近似的权衡。就像我们之前指出的，kS‾d1(x)\underline{k_S}d_1(x)kSd1(x)是xxx必然属于d1d_1d1的度量，kT′‾d1(x)\overline{k^{'}_T}d_1(x)kT′d1(x)是xxx可能属于d1d_1d1的度量。那么∣∣ϕ(M)−ϕ(x)∣∣2−∣∣ϕ(x)−ϕ(H)∣∣2||\phi(M)-\phi(x)||^2-||\phi(x)-\phi(H)||^2∣∣ϕ(M)−ϕ(x)∣∣2−∣∣ϕ(x)−ϕ(H)∣∣2是这两个度量之间的权衡。在这种情况下，核化模糊粗糙集产生了一个解决方案，将Relief扩展到核化Relief。

Relief的变种ReliefF用来解决多分类问题。在面对含噪声数据时，ReliefF的鲁棒性更强，并且可以处理值缺失的数据。与Relief相似，ReliefF随机选择一个样本xix_ixi，但是会在类内和类间分别搜索kkk个最近邻，分别设为Hi,MjH_i,M_jHi,Mj。除了平均了每一个HiH_iHi和MiM_iMi的影响，升级后的公式和原先的相似。每一类MiM_iMi的影响用该类的先验概率加权，该先验概率是从训练集中估计的。

据报道，基于粗糙集的算法在特征评估，属性约简和规则归纳中对噪声敏感。这里，我们可以引入ReliefF中使用的思想，提高基于模糊粗糙集系数的鲁棒性。

Dependency通常用于评估属性约简中特征的质量，我们将Dependency延展至下述：

给定一个分类问题<U,A,D><U,A,D><U,A,D>，kkk是特征空间B⊆AB\subseteq AB⊆A中的核函数，UUU按照决策属性的取值被分为{d1,d2,...,dI}\{d_1,d_2,...,d_I\}{d1,d2,...,dI}。对于∀xi∈U\forall x_i\in U∀xi∈U，我们从did_idi(xxx的决策类)以外的每个类搜索距离样本xix_ixi最近的kkk个样本，表述为Hdii={H1i,H2i,...,Hki}H^i_{d_i}=\{H^i_1,H^i_2,...,H^i_k\}Hdii={H1i,H2i,...,Hki}。分类近似质量的广义度量定义为：

沿着这个方向，我们概括分类确定性的度量。

给定一个分类问题<U,A,D><U,A,D><U,A,D>，kkk是特征空间B⊆AB\subseteq AB⊆A中的核函数，UUU按照决策属性的取值被分为{d1,d2,...,dI}\{d_1,d_2,...,d_I\}{d1,d2,...,dI}。对于∀xi∈U\forall x_i\in U∀xi∈U，我们从did_idi(xxx的决策类)以外的每个类搜索距离样本xix_ixi最近的kkk个样本，表述为Hi={H1i,H2i,...,Hki}H^i=\{H^i_1,H^i_2,...,H^i_k\}Hi={H1i,H2i,...,Hki}，并且每类k个的类间最近样本表述为：

这里MlmiM^i_{lm}Mlmi是xix_ixi的来自dld_ldl决策类的第m位最近的样本。分类确定性的广义度量可以表述为：

核化模糊粗糙集特征选择

之前的分析展现了基于核函数的模糊粗糙集可以用来计算一个样本对于自身决策类上下近似的隶属度，并且计算对于其他的决策类的上近似隶属度。此外，我们定义了近似质量和近似精度。Dependency和分类准确性的测量方法一样得到介绍，接下来将介绍这些系数潜在的一些应用。

特征评估

特征评估和属性约简是模糊粗糙集模型中最重要的一项应用。我们先讨论核化模糊粗糙集的特征评估。

我们之前给出了两个核化的模糊Dependency函数0≤γBS(D)≤10\leq \gamma^S_B(D)\leq 10≤γBS(D)≤1和0≤γBθ(D)≤10\leq \gamma^θ_B(D)\leq 10≤γBθ(D)≤1，这些函数反映了样本确切性属于某个决策类的整体程度，因此Dependency表征了特征预测决策的能力。经典粗糙集的Dependency函数广泛用于启发式属性约简，其中样本要么属于正域，要么属于分类边界。而模糊Dependency函数反映了属于正域的样本的总隶属度。一般来说，我们会选择产生高Dependency的特征。另外，用Dependency来评估特征拥有另外一个优势。Dependency函数是单调的。
单调性对于某些搜索策略和停止准则的实现很重要。

想法虽好，但是仍然存在两个问题。
第一：Dependency只考虑了样本对于其决策类的下近似隶属度，但是忽略了对于其他类的上近似隶属度。整体而言，我们希望找到一个特征子空间，其中的样本不仅仅确切地属于他们的类，并且他们对于其他类的上近似的隶属度应该尽可能地小。因此，一个良好的评估函数应当也考量了上近似隶属度。
第二：Dependency函数在噪音存在的情况下，鲁棒性较低。我们知道，Dependency是根据样本和其不同类的最近邻的距离计算的。给定x∈dix\in d_ix∈di，假定它被误写成了属于djd_jdj。那么，样本y∈diy\in d_iy∈di的隶属度的值将会出问题，因为来自决策类did_idi的样本会将xxx作为类间最近邻。就像Fig.3Fig.3Fig.3所示，样本被分为两个决策类，两个样本x1x_1x1和x2x_2x2被误分类。

然后，我们的函数将x1x_1x1作为了d1d_1d1的类间最近邻，将x2x_2x2作为了d2d_2d2的类间最近邻。显然，这样的噪音会对Dependency函数产生巨大的影响。

第一个问题涉及到之前提到的一个系数，样本的分类确定性定义为类内下近似隶属度和类间上近似隶属度之差。

这个方法与费希尔准则传达的想法相似，特征的质量被表征为分类的确定性：

第二个问题通过引入ReliefFReliefFReliefF中的思想得到缓解。我们对于每个样本搜索每个类的k个最近邻来计算模糊Dependency和分类确定性，并且使用他们的平均数来表征特征的质量。我们称其为广义Dependency函数或者广义分类函数。

以上五个系数更好地反映了数据的信息，而且可能对于噪音具有更良好的鲁棒性。就特征而言，他们并不单调，就像Relief和ReliefF系数。也就是说，如果B⊆CB\subseteq CB⊆C，我们不能保证：

搜索策略

时间复杂度为2N−12^N-12N−1的暴力枚举搜索方法我们不加讨论。有几种方法可以利用所提出的度量来找到次优的特征子集。

首先，我们可以用这些系数来评价每个特征，并且按照特征的质量来排序他们。然后选取mmm个最好特征，其中mmm被事先取好。我们称为RankingtechniqueRanking\space techniqueRanking technique。由于我们在排序时不重复计算特征子集的质量，这种技术通常是高效的。但是，ranking仅仅反映出输入的特征与决策之间的Dependency，那并不能减少冗余特征。而特征选择的目标是找到一个充分且不可缺少的最小特征子集。因此，应当删除这些冗余特征。

为了减少所选特征的冗余度，我们可以构造启发式的前向或后向贪心算法。在前向搜索中，我们从一组空的特征集开始，并在每一轮中根据评估系数选择一个或几个最佳特征，直到添加任何剩余特征都不会带来分类质量的显著改善。另一方面，反向搜索从整个特征集开始，我们每轮删除一个或几个最差的特征，直到分类质量下降。这些策略的时间复杂度通常是O(N2)O(N^2)O(N2)，NNN是候选特征的质量。但在对付大型数据集的时候，O(N2)O(N^2)O(N2)的计算复杂度也有些高了。

这里我们还有更高效的特征选择方法，方法包括了两个相关步骤：①我们计算输入的特征和决策之间的Dependency，在这里Dependency是用对称不确定性估计的，并且基于预定义的阈值选择部分相关特征。②基于依赖值以降序排列这些特征。再次选择所谓的主要特征，并且删除那些与这些主要特征相关性高于给定阈值的特征。第一步保证了选择的特征与决策特征具有很高的相关性。第二部减少了原始数据中存在的冗余信息。这种技术在大多数应用中被证明是非常有效的。如何确定算法中运用的这两个阈值是主要问题。

如何设计停止准则是构造有效的特征选择和分类学习算法的另一个重要问题。过早的停止搜索会导致欠拟合，太迟会导致过拟合。我们借鉴决策树学习的思想，在第一步中，我们运用前向贪婪搜索算法来选择特征，并记录选择特征的顺序。在第二步中，我们逐一评估所选的特征，并保留最佳子集。也就是说，在第kkk个特征的时间中，我们基于交叉验证评估第一步中选取的前K个特征。一般来说，当我们一个接一个地添加特征时，分类性能会有所提高，然后下降或保持在相同的值。我们选择产生最高分类精度的特征子集。这种技术不需要预先指定搜索终止搜索的阈值。

在评估特征时，我们遇到了与ReliefFReliefFReliefF相同的计算复杂度，来自相同类的kkk个最近样本和来自每个不同类的kkk个最近样本。评估N个特征的时间复杂度是O(N∗n∗log⁡n)O(N*n*\log n)O(N∗n∗logn)，其中nnn为样本数量。前向贪心搜索策略的总复杂度是O(N2∗n∗log⁡n)O(N^2*n*\log n)O(N2∗n∗logn)。

当然，在特征选择里还有其他搜索技术，如遗传算法，粒子群优化，分支定界等。

模糊粗糙集的实际应用相关推荐

matlab中实现模糊粗糙集
在matlab中写模糊粗糙集你需要考虑如下问题 1 距离 1.1blog.csdn.net/chl033/article/details/5615922 1.2http://blog.csdn.net ...
直觉模糊有计算机知识嘛,多源直觉模糊信息系统的知识获取方法
摘要: 人工智能是当前信息科学理论和应用研究中的一个热点领域.随着计算机科学与技术的快速发展,特别是计算机网络的飞速发展,人类生产生活的各个领域都产生了大量数据信息.这些数据信息的类型日渐复杂,且规模 ...
【离散数学】关于粗糙集的讨论
摘要:属性约简是粗糙集中的一个重要研究方向.本文对基于粗糙集的属性约简算法进行归纳,这对进一步深入研究粗糙集的属性约简算法具有积极意义.在大数据时代,数据不仅类型多样.结构复杂还具有动态变化的特 ...
粗糙集理论---研究现状
当前,除了以粗糙集理论为主题的会议或研讨班相继召开外,许多国际重要学术会议和学术研讨班也都把粗糙集理论的研究列入会议和讨论班的主要内容之一,这些都极大地促进了该理论的发展及其在各个领域中的应用. 对粗 ...
R语言任务视图：机器学习与统计学…
机器学习是计算机科学和统计学的边缘交叉领域,R关于机器学习的扩展包大概包括以下几个方面: 神经网络(Neural Networks) : 单隐含层神经网络在nnet 包(与R基础包一同发布)中实现.R ...
2015年计算机大会----顶级盛宴
CNCC2015大会日程地点:合肥滨湖国际会展中心 & 安徽世纪金源大饭店 10月21日 9:00-22:00 报到 Tutorial:大数据应用实战培训--Spark分布式内存计算框架解析 ...
山西大学计算机与信息技术学院张超,张超 - 山西大学 - 计算机与信息技术学院...
个人简介张超,博士,副教授,硕士生导师,主要从事智能决策与粒计算研究.近年来,主持国家自然科学基金青年项目1项.山西省重点研发计划(国际科技合作)项目1项.山西省应用基础研究计划青年科技研究基金1项 ...
重磅 | 西安思考：“2018国际人工智能院长论坛”专家思想分享
原创: 人工智能学院西电人工智能学院 6月10日本文档分为两个视频:视频一(P2-P14)和视频二(P14-P26) 5月27-28日,2018国际人工智能院长论坛在西安成功举办,来自中.美.英. ...
混合型数据的邻域条件互信息熵属性约简算法
混合型数据的邻域条件互信息熵属性约简算法兰海波中国气象局公共气象服务中心摘要:属性约简是粗糙集理论的重要研究内容之一,其主要目的是消除信息系统中不相关的属性,降低数据维度并提高数据知识发现性能. ...

模糊粗糙集的实际应用

目录

概述