READ-2318 FLAME Taming Backdoors in Federated Learning

论文名称	FLAME Taming Backdoors in Federated Learning
作者	Thien Duc Nguyen, Phillip Rieger, Huili Chen
来源	USENIX Security 2022
领域	Machine Learning - Federal learning - Security - Defence - Backdoor attack
问题	已有的防御后门攻击的方法存在以下问题：基于检测的方法对攻击存在特定假设，不具有普适性；基于DP的方法会影响良性更新的性能
方法	将异常模型更新的检测和权重的调谐裁剪相结合，开发了一种针对后门的弹性防御，最小化聚合模型的后门移除所需的噪声量，而不受现有方法的限制（窄攻击者模型、数据分布假设）和缺点（良性性能损失）的影响
创新	设置噪声边界

阅读记录

一、攻击模型

进行后门攻击
攻击者可以控制其训练数据、过程和参数
攻击者无法控制聚合器执行的任何进程，也无法控制诚实的客户端

二、FLAME

防御目标
（1）有效性：为了防止对手实现其攻击目标，必须消除后门模型更新的影响，以便攻击性门控全局模型不会表现出后门行为
（2）性能：必须保持全球模型的良好性能，以保持其效用
（3）独立于数据分布和攻击策略：防御方法必须适用于通用对手模型，即不要求事先了解后门攻击方法，或对本地客户端的特定数据分布进行假设
防御思路

在动态场景中过滤出具有大角度偏差的后门模型：动态场景是指注入后门的数量未知，并且可能在训练回合之间有所不同
限制scaled-up backdoors的影响：选择适当的裁剪边界，而不凭经验评估其对训练数据集的影响。如果应用的裁剪边界太大，对手可以通过将其权重缩放到裁剪边界来增强其模型，从而最大化对聚合的全局模型G的后门影响，导致全局模型的性能恶化
为后门消除选择合适的噪声水平：噪声水平直接影响防御的有效性和模型的良性性能。如果它太低，聚合模型可能会在模型加噪后保留后门行为，使防御无效，而过多的噪声会降低聚合模型的效用

总框架

动态模型过滤
（1）目标：与试图将中毒模型放置在一个集群中的现有方法不同，本文的方法将每个中毒模型单独视为异常值，因此它可以处理多个同时出现的后门，从而解决挑战C1
（2）不同聚类方法对比

（3）方法：使用成对余弦距离来测量所有模型更新之间的角度差，并应用HDBSCAN聚类算法，将良性集群大小为至少为客户端数量的50%
①即使对手放大模型更新，更新向量之间的角度也不会改变，余弦距离也不会受到影响
②HDBSCAN算法基于余弦距离分布的密度对模型进行聚类，并动态确定所需的聚类数量，如果模型不适合任何集群，HDBSCAN会将其标记为异常值。
动态裁剪
（1）服务器将所有模型更新的L2范数的中值作为裁剪上限。这里需要考虑可疑模型，以确保即使良性模型被过滤，计算的中值St仍然基于良性值确定
（2）计算完终止后，只使用被接受的模型进行聚合
（3）由于客户端报告的数据集大小是不可信的，因此对所有客户的贡献进行平均而不加权
适应性噪声
基于局部模型之间的差异（距离）估计灵敏度来确定噪声量，这可以在不访问训练数据的情况下进行
4.伪代码

总结

本文使用了动态的聚类方法、动态设置梯度裁剪上限、动态设置噪声范围，从而实现了性能与安全性的权衡。但是阅读论文过程中，存在以下疑问：

聚类过程中，若所有聚类均小于客户端数量的一半，该如何处理。
本文假设恶意客户端数量小于客户端总数的一半

READ-2318 FLAME Taming Backdoors in Federated Learning相关推荐

【论文阅读笔记】FLAME: Taming Backdoors in Federated Learning
个人阅读笔记,若有错误欢迎指正会议: USENIX Security Symposium 2022 论文地址:[2101.02281] FLAME: Taming Backdoors in Fed ...
（补充及更新）FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping
摘要:拜占庭鲁棒式联邦学习旨在存在一定数量恶意客户端时学习到一个准确的全局模型.当前存在的拜占庭鲁棒式联邦学习主要思想为在聚合更新全局模型前对所有的客户端模型更新进行统计分析,然后剔除掉可疑的. 服务 ...
AI之FL：联邦学习(Federated Learning)的简介、入门、应用之详细攻略
AI之FL:联邦学习(Federated Learning)的简介.入门.应用之详细攻略导读 2019 年2 月,微众银行 AI 团队自主研发的全球首个工业级联邦学习框架 FATE(Fe ...
PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversarial Network笔记
前言论文 "PDGAN: A Novel Poisoning Defense Method in Federated Learning Using Generative Adversari ...
【译】Federated Learning: Bringing Machine Learning to the edge with Kotlin and Android
采用机器学习模式需要数据. 我们越多越好. 但是,数据并不便宜,更重要的是,数据可能包含敏感的个人信息. 以新法律形式作为GDPR以及提高用户和公民对其数据价值的认识的最新隐私发展正在产生对实施更多隐 ...
初识联邦学习(Federated learning)
联邦学习(Federated learning)最早在2016由谷歌提出,并在之后受到大量的关注.本文旨在简要介绍联邦学习,了解联邦学习的背景,而不关注联邦学习具体的实现方案.希望能解释通如下几个 ...
联邦学习安全与隐私保护综述 A survey on security and privacy of federated learning
联邦学习安全与隐私保护综述写在前面的话联邦学习是什么联邦学习工作流程联邦学习的技术分类安全问题和解答隐私问题和解答未来方向写在前面的话本篇博客参考<A survey on se ...
联邦学习 + 脏数据+Approaches to address the data skew problem in federated learning
Menu 联邦学习 Fair Resource Allocation in Federated Learning 背景贡献 FedAvg q-FFL 解决方法 Fed Avg-Style q-Fai ...
【联邦学习】横向联邦学习（Horizontal Federated Learning，HFL）
文章目录一.横向联邦学习的定义二.横向联邦学习的安全性三.横向联邦学习架构 1. 客户-服务器架构 2. 对等网络架构四.联邦优化五.联邦平均算法参考链接一.横向联邦学习的定义横向联邦 ...

READ-2318 FLAME Taming Backdoors in Federated Learning

READ-2318 FLAME Taming Backdoors in Federated Learning

阅读记录

一、攻击模型

二、FLAME

总结

READ-2318 FLAME Taming Backdoors in Federated Learning相关推荐

最新文章

热门文章