大背景面临的问题：1、隐私问题。2、非 IID 数据。2、无线网络通信资源有限。3、复杂的用户身份，训练过程面临着拜占庭设备的挑战，它可以向模型注入中毒信息

根据上一篇，FAug-FD 虽然工作良好，但当边缘设备上传本地原始数据以在云中训练全球数据生成器时，会导致私人数据泄露。此外，FAug-FD 只考虑 IID 数据和通信效率的要求，但仍忽略了拜占庭设备带来的安全挑战。

1、提出强大的联邦增强和联邦蒸馏（RFA-RFD），2、在 RFA 和 RFD 中采用了检测和丢弃机制

总体思想：

RFA： 是解决非 IID 本地数据问题的方法。首先在边缘设备上训练本地数据生成器，然后根据上传的本地生成器生成的 IID 数据集在云服务器中训练全局生成器，最后，设备通过下载全球生成器来纠正非 IID 数据集。在边缘设备中获取 IID 本地数据后，实施 RFD 。

RFD：以提高本地模型的性能，其中设备仅共享模型输出的本地信息，以减少通信开销。

在 RFA 和 RFD 中都采用了检测和丢弃机制，以实现拜占庭设备的稳健性

Robust 联邦增强

CVAE（有条件的 VAE），可以在每个边缘设备上生成特定标签的数据，本地 CVAE 模型包含Ei （编码器）和 Gi （解码器/生成器），本地数据集接受训练，其中l表示第l个标签，Di 是本地数据集的大小，是第d个本地数据样本。

在边缘设备上训练 CVAEs 后，解码器G1 ，...，GN上传到云服务器。然后，服务器控制解码器，生成具有相同编号的不同标签的数据样本D.让表示由Gi使用第l个标签生成的数据集，其中是第d个生成的数据样本。要在不同的边缘设备之间共享数据信息，数据集同一标签融合成一个 IID 数据集.基于和他们的onehot向量的标签，训练全局CVAE E∗ 和G∗ .最后，边缘设备下载G∗ 并生成数据以形成本地 IID 数据集。

引入了检测和丢弃机制：在云服务器上，部署异常探测器来检测异常数据，其假设是恶意生成器的数量正常生成器。考虑到没有恶意生成器的训练数据集，选择无监督的异常探测器，例如聚类[16]、隐藏马尔可夫模型[10]和 iForest [17]。对于数据样本，异常分数由异常探测器计算。我们通过设置阈值来丢弃恶意的生成样本，并根据分布情况组织正常的生成样本，形成一个干净的 IID 数据集.

算法 1 Robust 联邦增强（RFA）

robust 联邦蒸馏

Algorithm 2 Robust Federated Distillation (RFD)

实验结果

CVAE的编码器和解码器是 2 个卷积层，然后是边缘设备和云服务器中的 1 个全连接层。

RFD是一个 5 层 CNN (CNN-5)，具有 2 个卷积层、1 个最大池化层和 2 个全连接层。

无监督异常检测器，包括 K-means 、隐马尔可夫模型 (HMM) 和 iForest。

带有不同异常检测器的 RFA-RFD 显示出对拜占庭设备的强大鲁棒性。

通信开销：计算在上行链路和下行链路中传输的不同框架的每个设备的总比特数。如表 I 所示，vanilla FL 的开销最高，用于传输总模型 s。在上行链路中，与 FAug-FD 相比，我们的 RFA-RFD 需要传输更多的比特，但仍然比普通 FL 少得多。 FAug-FD 上的 RFA-RFD 的额外位来自上传生成器以避免上传私人本地数据

联邦学习1 A Unified Federated Learning Framework for Wireless Communications: towards Privacy,..论文相关推荐

【个性化联邦学习】Towards Personalized Federated Learning 论文笔记整理
Towards Personalized Federated Learning 一.背景二.解决策略 2.1 策略一.全局模型个性化 2.2 策略二.学习个性化模型三.具体方案 3.1 全局模型个 ...
顶会论文笔记：联邦学习——ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework
ATPFL: Automatic Trajectory Prediction Model Design under Federated Learning Framework 文章目录 ATPFL: A ...
A Blockchain-based Decentralized Federated Learning Framework wth Committee Consensus
A Blockchain-based Decentralized Federated Learning Framework with Committee Consensus 基于区块链的具有委员会共识 ...
【论文导读】- STFL: A Spatial-Temporal Federated Learning Framework for Graph Neural Networks
文章目录论文信息摘要 Contributions Methodology Graph Generation Graph Neural Network 联邦学习 Experiment 数据集 Nod ...
Multimedia Event Extraction From News With a Unified Contrastive Learning Framework论文解读
Multimedia Event Extraction From News With a Unified Contrastive Learning Framework 论文:Multimedia Ev ...
联邦学习安全与隐私保护综述 A survey on security and privacy of federated learning
联邦学习安全与隐私保护综述写在前面的话联邦学习是什么联邦学习工作流程联邦学习的技术分类安全问题和解答隐私问题和解答未来方向写在前面的话本篇博客参考<A survey on se ...
A Blockchain-Based Machine Learning Framework for Edge Services in IIoT 论文学习
A Blockchain-Based Machine Learning Framework for Edge Services in IIoT IEEE TRANSACTIONS ON INDUSTR ...
SecureBoost: A Lossless Federated Learning Framework论文笔记
摘要保护用户隐私是机器学习中的一个重要问题,2018年5月欧盟推出的<通用数据保护条例>(General Data protection Regulation,简称GDPR)就是明证.G ...
A Blockchain-Based Decentralized Federated Learning Framework with Committee Consensus
本文简易框架demo源码背景问题定义在联邦学习场景中,客户端通过交换模型梯度或更新后的模型参数,不暴露私人数据,从而合作训练一个共享的全局模型.但是容易存在恶意攻击的行为,分别是恶意客户端和中央 ...

联邦学习1 A Unified Federated Learning Framework for Wireless Communications: towards Privacy,..论文

总体思想：

Robust 联邦增强

robust 联邦蒸馏

联邦学习1 A Unified Federated Learning Framework for Wireless Communications: towards Privacy,..论文相关推荐

最新文章

热门文章