CCVR基于分类器校准缓解异构联邦学习

关注公众号，发现CV技术之美

本篇分享 NeurIPS 2021 论文『No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data』，用非IID数据进行联合学习的分类器校准。

论文链接：https://arxiv.org/abs/2106.05001

背景与概述

作者提出问题：为了解决Non-IID问题，因为Non-IID数据分布会给全局模型性能带来大幅度损害；现有方案主要涉及在局部优化中执行正则化或改进服务器上的模型聚合方案，虽然有效，但是它们缺乏对数据异质性如何影响深度分类模型的每一层的深刻理解。作者首先通过对不同层学习到的表示进行实验分析，发现：1. 模型的分类器层往往存在更大的偏差，2. 在联合训练后通过校准分类器可以显著提高分类性能。

基于上述发现，作者提出CCVR方法，通过从近似高斯混合模型中采样的虚拟表示来调整分类器（再训练分类器）从而大幅度提高全局模型性能。

联邦学习中通常使用Non-IID数据进行训练，由于不同的用户行为，在不同客户端的本地数据中可能存在较大的异构性，这将导致模型训练不稳定且收敛缓慢；

现有方法大致分为4类：

客户端漂移缓解：修改客户端的局部目标，使局部模型与全局模型在一定程度上一致(大部分方法通过添加正则化项)；
聚合方案：改进服务器上的模型融合机制；
数据共享：引入公共数据集或合成数据，帮助在客户端或服务器上构建更平衡的数据分布；
个性化联邦学习：旨在为个人客户训练个性化的模型，而不是一个共享的全局模型。

但是现有算法仍然无法取得良好的性能，为了确定原因，作者对深度神经网络的每一层都进行了彻底的实验研究：具体来说，作者测量了来自不同客户机本地模型的同一层表示之间的中心核心对齐(CKA)相似性；观察结果发现：比较不同客户端模型的不同层，发现分类器在不同局部模型之间的特征相似性最低。

基于上述发现，作者进一步研究了分类器权重的变化，证实了分类器倾向于偏向特定的类，这是分类问题中性能下降的主要原因。接着作者通过实验验证发现，训练后对分类器进行重训练/校准策略特别有用（通过一小部分的IID数据，分类精度显著提高），但是该方法涉及隐私，因此不能在实践中直接部署。

因此，作者提出了一种新的隐私保护方法，即虚拟表示分类器校准(CCVR)，该方法在联邦训练后修正了深度网络的决策边界（分类器）；CCVR基于特征空间中的近似高斯混合模型(GMM)和学习到的特征提取器生成虚拟表示，进而重校准分类器。

总得来说，本文贡献如下：

首次系统地研究了使用FedAvg对非IID数据训练的不同层神经网络(NN)的隐藏特征表示的研究；
揭露出在非IID数据上训练的神经网络性能下降的主要原因是分类器；
提出了CCVR，一种简单而通用的用于联合学习的分类器校准算法，不需要传输原始数据的表示，因此不会引起额外的隐私问题。

CCVR方法

通过虚拟特征重训练分类器

2.1 理解分类器偏差

为了理解Non-IID数据如何影响联邦学习中的分类模型，我们对异构局部模型进行了实验研究：基于CIFAR-10，10个客户端以及一个具有7层的卷积神经网络模型，基于狄利克雷分布对数据进行划分(α=0.1)；具体地说，对于模型中的每一层，利用最近提出的核心核对齐(CKA)来衡量两个给定相同输入测试样本的局部模型之间输出特征的相似性，基于FedAvg对模型进行100轮通信训练，每个客户端在每轮通信中优化10个Epochs。

如下图1所示，显示了局部模型中三个不同层的CKA特征相似性，我们发现由较深层输出的特征显示出较低的CKA相似性。这表明，对于在非IID数据上训练的联邦模型，更深层在不同客户端之间具有更大的异质性。

图1：CKA相似性

通过对CKA相似性进行平均，我们可以获得一个值来近似表示不同客户端的每个层的特征输出的相似性。如下图2所示，说明了近似的层级特征的相似性，结果表明，与使用IID数据训练的模型相比，使用非IID数据训练的模型在所有层间的特征相似性始终较低。更进一步的，对于非IID数据训练，分类器在所有层中显示出最低的特征相似性。分类器层的CKA相似性较低，说明局部分类器变化很大，以适应局部数据分布。

图2：层级特征的相似性

接下来，作者又分析了局部分类器权重向量的L2范数，如下图3所示，下图3第一个图表示不同客户机之间的标签分布。在初始训练阶段，分类器的权重规范会偏向于有更多训练样本的类，在训练结束时，在非IID数据上训练的模型比在IID数据上训练的模型遭受了更重的偏置差异影响。

图3：局部分类器权重向量的L2范数

基于以上对分类器的观察，作者假设：由于分类器是最接近局部标签分布的层，它很容易偏向异构局部数据，反映在不同局部分类器之间的低特征相似性和权重L2范数差异。从而，作者认为去偏置化分类器可以直接提高分类性能。

2.2 分类器的正则化和校准方法

为了有效地消除分类器的偏差，作者考虑了正则化和校准方法，

Classifier Weight L2-normalization：在训练阶段和推理阶段对分类器的权值向量进行了L2归一化处理（下面公式1）；
Classifier Quadratic Regularization：通过添加惩罚项，以限制分类器的权值接近于从服务器接收到的全局分类器权值向量（下面公式2）；
Classifier Post-calibration with IID Samples：我们还考虑了一种后处理技术来调整学习到的分类器，在联合训练后，我们固定特征提取器，并基于IID样本通过SGD进行交叉熵损失优化校准分类器，但是这种校准策略需要从异构客户端收集IID的原始特性，不能应用于真实的联邦学习系统。

基于上述三种方法，结果如下表1所示。我们观察到，正则化分类器权重的l2范数(clsnorm)对低异构性数据是有效的，但随着异质性的增加，帮助会减少，甚至导致模型性能损害；对分类器参数进行正则化(clsprox)始终有效，但只是特别小的改进；使用所有训练样本校准FedAvg模型的分类器时(calibration)，对所有程度的数据异质性都有显著的性能改善。

表1：不同方法改进程度

为了进一步理解分类器校准技术，另外对不同数量的数据样本和由FedAvg和FedProx训练的不同现成的联邦模型进行了校准，结果如下图4所示。作者观察到即使仅仅使用1/50数据样本进行校准，基于数据的分类器校准表现也一致良好。在调整分类器后的显著性能改进有力地验证了上述的假设，即导致模型性能损害主要在于分类器层。

图4：不同数据量的影响

2.3 用虚拟表示进行分类器校准

基于上述观察结果，我们提出了使用虚拟表示(CCVR)的分类器校准，在联合训练全局模型后，在服务器上运行。CCVR从估计的高斯混合模型(GMM)中提取虚拟特征，而不访问任何真实的图像。假设f和g分别是全局模型的特征提取器和分类器，我们将使用f来提取特征并估计相应的特征分布，然后使用生成的虚拟表示来重新训练g。

Step1 特征分布估计：对于分类等与语义相关的任务，深度神经网络学习到的特征可以用混合高斯分布来近似，在CCVR中，我们假设D中的每一个类的特征都遵循高斯分布。服务器通过收集每个类的客户端局部数据的均值u和协方差ε来估计这个分布，而不访问真实的数据样本或其特征。服务器首先将训练过的全局模型的特征提取器f发送给客户端，针对客户端k，对于类别c，其拥有样本数量为Nc_k，对于样本j，其特征为Z_ckj=f(X_ckj)计算均值u和协方差ε：

然后客户端上传均值u和协方差ε，然后计算全局均值和全局协方差：

Step2 生成虚拟表示：在获得全局均值和全局协方差后，服务器从高斯分布N(u,ε)生成一组带有真实标签c的虚拟特征G_c。CCVR方法的最后一步是使用虚拟表示进行分类器再训练，从全局模型中取出分类器g进行重训练：

CCVR在一定程度上保护隐私，因为每个客户端只上传他们的本地高斯统计数据，而不是原始表示，并且其可以很容易地与一些隐私保护技术相结合，以进一步保护隐私。

实验验证

Federated Simulation：基于CIFAR-10、CIFAR-100和CINIC-10数据集的图像分类任务，其中CINIC-10是由ImageNet和CIFAR-10构建的，它们的样本非常相似，但不是来自相同的分布；基于狄利克雷分布，默认将α设置为0.5。我们使用一个简单的4层CNN+2层MLP作为CIFAR-10模型，对于CIFAR-100和CINIC-10，我们采用MobileNetV2。

Baselines and Implementation：FedAvg、FedProx、FedAvgM以及MOON作为基准；关于生成虚拟表示的特征样本数Mc，在CIFAR-10、CIFAR-100以及CINIC-10上分别设置为100、500和1000。

性能提升：如下表2所示，给出了在应用CCVR前后对所有数据集的测试精度，其中Oracle表示使用整个数据用于分类器校准，这表明了分类器校准的上界。首先可以观察到，应用分类器校准CCVR后提高了所有基线方法的精度；通过比较不同方法在应用CCVR和全数据校准后的精度增益，我们发现FedAvg和MOON的精度提高最大；在CINIC-10上，FedAvg的预测结果甚至超过了所有其他基线，这意味着FedAvg更专注于学习高质量的特征，但忽略了学习一个公平的分类器，进一步证实了分类器校准的必要性。

表2：CVRR性能表现

CCVR在什么情况下效果最好：虽然应用CCVR对CIFAR-100有了改进，但与其他两个数据集相比却提升很少，这是因为，通过分类器校准所获得的最终精度不仅取决于分类器，还取决于特征表示。在CIFAR-100中，每个类只有500张训练图像，因此分类任务本身非常困难，模型学习到的特征表示并不强。但是结果表明，CCVR在CIFAR-100上获得的精度非常接近上界，说明即使特征提取器较差，CCVR效果也很好。

作者还注意到，CCVR在CINIC-10上取得了巨大的性能提升，为了进一步分析，在下图5中展示了FedAvg在CINIC-10数据集上学习到的特征的t-SNE可视化：在第二个子图上，我们可以观察到一些类主导了分类结果(分类错误，与第一个子图相比)，当经过CCVR后纠正了一些分类错误样本。而且我们发现分类器的偏差在绿色和紫色类别，以及灰色和红色上。

经过CCVR处理后，当识别接近决策边界的容易混淆的特征，不会错误分类为多数类别特征，这表明分类器的权重已经被调整为对每个类更公平。综上所述，当CCVR应用于表示良好但分类器偏差严重的模型时，可能更有效。

图5：t-SNE可视化

要生成多少个虚拟特征样本：在CCVR中，一个重要的超参数是每个类c要生成的虚拟特征Mc的数量。从下图6中可以看出，一般来说，即使只采样少数特征，也能显著提高分类精度；此外可以观察到，在两个更非均匀的分布上(α更小)，更多的样本会产生更高的精度；同时在第三个图可以看出，当使用中等数量的虚拟样本时精度会下降，这表明Mc在面对更平衡的数据集时更加敏感。

这可以用CCVR的本质来解释：利用虚拟特征分布来模拟原始特征分布，如果虚拟样本数量有限，模拟的分布可能偏离真实特征分布。NIID-0.5的结果表明，当CCVR处理更平衡的原始分布时，虚拟分布可能偏离真实分布。

图6：虚拟特征样本数量探究

总结归纳

作者提供了一个新的视角来理解为什么基于深度学习的分类模型在联邦学习中使用非IID数据进行训练时，性能会下降。作者首先对神经网络进行解剖，并通过CKA相似性技术研究不同客户模型不同层的相似性；进而观察到，不同局部模型的分类器比其他任何一层差异性都大，并且分类器之间存在显著的偏差。

进一步，作者提出了虚拟表示分类器校准(CCVR)方法，主要通过一个近似的高斯混合模型(GMM)来采样虚拟特征进行分类器校准，以避免将原始特征上传到服务器。最终实验也表明了CCVR的有效性，可以有效缓解异构联邦学习系统下全局模型受到的性能损害。

END

欢迎加入「图像分类」交流群

CCVR基于分类器校准缓解异构联邦学习相关推荐

ACL 2021 | 基于全局字符关联机制联邦学习的中文分词
作者 | 陈桂敏来源 | QTrade AI研究中心 QTrade AI 研究中心是一支将近 30 人的团队,主要研究方向包括:预训练模型.信息抽取.对话机器人.内容推荐等.本文介绍的是一篇收录于 ...
基于联邦学习的推荐系统综述
基于联邦学习的推荐系统综述参考文献基于联邦学习的推荐系统综述 Federated Recommendation Systems Journal-CN-SSI-22-Survey-Slides (作 ...
【联邦学习邂逅密码学系列】基于同态加密算法python代码实现
这是我的学习笔记,若有不足和错误之处,欢迎交流和指正,谢谢! 联系方式:lrcgnn@163.com 前言联邦学习是一种参与方之间联合隐私训练的新范式,受到学术界和工业界的关注.然而一些研究表明,联 ...
【联邦学习实战】基于同态加密和差分隐私混合加密机制的FedAvg
联邦学习实战--基于同态加密和差分隐私混合加密机制的FedAvg 前言 1. FedAvg 1.1 getData.py 1.2 Models.py 1.3 client.py 1.4 server. ...
联邦学习攻击与防御综述
联邦学习攻击与防御综述吴建汉1,2, 司世景1, 王健宗1, 肖京1 1.平安科技(深圳)有限公司,广东深圳 518063 2.中国科学技术大学,安徽合肥 230026 摘要:随着机器学习技术的 ...
虚拟专题：联邦学习 | 联邦学习算法综述
来源:大数据期刊联邦学习算法综述王健宗1 ,孔令炜1 ,黄章成1 ,陈霖捷1 ,刘懿1 ,何安珣1 ,肖京2 1. 平安科技(深圳)有限公司,广东深圳 518063 2. 中国平安保险(集团)股 ...
论文阅读（联邦学习）：Exploiting Shared Representations for Personalized Federated Learning
Exploiting Shared Representations for Personalized Federated Learning 原文传送门 http://proceedings.mlr.p ...
顶会论文合集 | 联邦学习 x 计算机视觉
2022 CVPR ATPFL: Automatic Trajectory Prediction Model Design Under Federated Learning Framework ATP ...
李开复口中的“联邦学习” 到底是什么？| 技术头条
近日,在百大人物峰会上,创新工场创始人李开复谈及数据隐私保护和监管问题时,表示:"人们不应该只将人工智能带来的隐私问题视为一个监管问题,可尝试用'以子之矛攻己之盾'--用更好的技术解决技术带 ...
虚拟专题：联邦学习 | 面向隐私保护的非聚合式数据共享综述
来源:通信学报面向隐私保护的非聚合式数据共享综述李尤慧子1, 殷昱煜1, 高洪皓2,3, 金一4, 王新珩5 1 杭州电子科技大学计算机学院,浙江杭州 310018 2 上海大学计算机工程与科学 ...

CCVR基于分类器校准缓解异构联邦学习

CCVR基于分类器校准缓解异构联邦学习相关推荐

最新文章

热门文章