1.摘要

TSK模糊系统作为一种高度可解释性的机器学习方法，在处理大数据或者高维度数据上存在一定的缺陷。因此本文提出了一个新的TSK模糊系统算法来高效的处理这些数据。本文主要创新点有两个，一个是引入了均匀正则化（UR)，强迫所有的规则有着相似的输出，这提升了模型的泛化性。另一个是引入了批处理归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度，提高泛化性能。经过十二个数剧集的验证，得到了良好的效果。

2.引言

针对TSK模糊系统处理大数据或者高维度的数问题，许多人做出了努力，包括使用降维算法、特征提取等。哈有一些人聚焦于学习原始的稀疏子空间特征，从而减少每个模糊规则的参数量。
MGDB自从被应用与TSK模糊系统后，许多人进行了改进，包括adding a momentum， Adam，前两者的结合，以及AdaBound，本文实验发现AdaBound更好。但尽管这样的MGDB-TSK模糊系统有着较好的性能，但是容易陷入局部最优以及梯度消失问题，基于此，在深度学习解决类似问题的适合提出了UR和BN，本文则跟随实验室之前的研究，继续优化TSK模糊系统，将BN和UR与TSK模糊系统结合，解决大数据以及局部最优的问题。
贡献如下：
1、提出了针对交叉熵（cross-entropy loss）的UR公式，迫使所有的规则平均，以提高泛化性。
2、扩展BN进入TSK模糊系统，展示了其快速收敛性以及准确率。
3、整合BN和UR得到了良好的性能。

3. algorithm

3.1 TSK介绍见前面的论文

此处不再赘述 ,点击 TSK Fuzzy System

3.2 均匀正则化

混合专家系统与TSK模糊系统类似，当多个专家共同决策时，如果某一个或多个专家的准确率更高，则偏向于某个或某几个专家的决策，给与他/他们更高的权重。但也因此造成了富者越富的情况，损失了其余专家给出的评判信息，不能很好的应对各种情况。在TSK模糊系统存在类似的情况，因此我们提出均匀正则化，将所有专家给出的意见权重统一，这样就能最大程度的适用于各种情况，提升泛化性。
具体公式如下
因此，我们的损失函数变成了这个，类似于L2正则化，但是L2正则化是增加了惩罚项，这个是增加了统一正则化操作。

3.3 Batch Normalization（BN）

BN主要作用是引入两个参数，将每一个数进行归一化操作加速训练过程，

这里的mb和δb是一批样本的均值和标准差，γ和β是学习的参数，∈是参数，1*10-8避免标准差为0，

由图中可知，将训练阶段模糊规则计算完之后，在输出阶段对所有模糊规则结果使用BN，这样就可以将其贡献归一化，在计算输出，则解决了模型的泛化性问题。在测试阶段具体介绍如下：

同时，我们也可以对输入数据进行归一化操作，将数据分布归一化后送入TSK模糊系统运行，基于此，也可以减少不同数据之间所产生的各异性公式如下：。

不同的BN操作对TSK模糊系统的影响如下图：

4 实验结果

4.1数据集介绍

不同算法之间原始准确率（RCA)对比：
DT: Decision tree；
RF: Random forest；
PART : The PART (partial decision tree) classifier；
JRip : The RIPPER (Repeated Incremental Pruning to Produce Error Reduction) classifier；
TSK-FCM-LSE；
TSK-MBGD: We used MBGD and AdaBound；
TSK-MBGD-UR: MBGD, AdaBound and UR；
TSK-MBGD-BN: We used MBGD, AdaBound and BN；
TSK-MBGD-UR-BN: We used MBGD, AdaBound, BN and UR；

平衡准确率：the mean of the per-class RCAs

p值检验差异性：

首先，对于非常高维的数据，输入空间的模糊划分变得非常复杂，当使用乘积t-范数时，可能会发生数值下流。进一步的研究应考虑自动选择最相关的属性作为前提的规则。其次，我们将研究如何提高数据驱动的TSK模糊系统的可解释性。这也与第一个问题部分相关联，因为减少前因子的数量可以提高规则的可解释性。
最后，我们需要指出的是，我们没有考虑到数据中的各种不确定性，如缺失值、错误值、噪声、异常值等，这在现实应用中经常发生。一些技术，例如粗糙集，可以与模糊集集成来处理它们。或者，本文中使用的1型TSK模糊系统也可以扩展到区间或一般的2型模糊系统，以应对更多的不确定性。

Fuzzy System2021|论文阅读《Optimize TSK Fuzzy Systems for Classification Problems》相关推荐

论文阅读笔记：《Hyperspectral image classification via a random patches network》（ISPRSjprs2018）
论文阅读笔记:<Hyperspectral image classification via a random patches network>(ISPRSjprs2018) 论文下载地址 ...
Fuzzy SyStem2020 | 论文阅读《Optimize TSK Fuzzy Systems for Regression Problems》
TSK模糊系统优化算法----MGDB 1.Motivation 2.Overviw of the TSK Fuzzy System Optimize 2.1 Selct Optimize direc ...
毫米波目标检测论文阅读笔记 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar
毫米波目标检测论文 | Radar Transformer: An Object Classification Network Based on 4D MMW Imaging Radar Jie Ba ...
情感分析论文阅读之《Aspect Level Sentiment Classification with Deep Memory Network》
本文利用了加入了attention机制的QA系统中的深度记忆网络,本文将aspect word的上下文信息作为memory m中存储的内容.实现了一个针对aspect-level的情感分类模型. ...
【论文阅读】UAV-Based Crop and Weed Classification for Smart Farming
目录 Abstract I. INTRODUCTION II. RELATED WORK III. PLANT/WEED CLASSIFICATION FOR UAVS 3.1 Vegetation ...
【论文阅读】Learning with Hypergraphs: Clustering, Classification, and Embedding
目录 Abstract Introduction Preliminaries Normalized hypergraph cut Random walk explanation Spectarl hy ...
论文阅读 Neural Computation of Decisions in Optimization Problems
Neural Computation of Decisions in Optimization Problems 动机:需要研究从平台角度出发,进行怎样的促销组合是最优的. github上MIT复现的 ...
异常检测(Out-of-distribution detection\ anomaly detection)相关论文阅读
Learning Confidence for Out-of-Distribution detection in Neural Network 作者 Terrance DeVries .Graham ...
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记
The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记特点:高可靠.高可用.粗粒度锁服务.小文件存储主要用于高 ...

Fuzzy System2021|论文阅读《Optimize TSK Fuzzy Systems for Classification Problems》

Fuzzy System