READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applica
READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications
| 论文名称 | Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applications |
|---|---|
| 作者 | Jiqiang Gao; Baolei Zhang; Xiaojie Guo; Thar Baker; Min Li; Zheli Liu |
| 来源 | IEEE T IND INFORM 2022 |
| 领域 | Machine Learning - Federal learning - Security - Defence - Backdoor attack；Machine Learning - Federal learning - Privacy - Defence - Inference attack |
| 问题 | 没有一个防御方法可以同时抵挡客户端和服务器发起的攻击，而已有的安全聚合和健壮性聚合策略互斥 |
| 方法 | 1.客户端只上传模型的部分参数给服务器；2.通过加密模型更新保证服务器无法推断客户端数据，但服务器又可以检测客户端的恶意行为 |
| 创新 | 兼顾安全性和隐私性 |
阅读记录
一、总框架
- 优点：每个客户端只上传部分参数，不仅可以限制恶意客户端的行为，还可以通过加密保护客户端更新
- 目标
- 保证全局模型的识别准确率
- 同时防御来自客户端的后门攻击和来自都武器的推理攻击
- 轻量级并且可以提供更好的隐私保护
- 创新点
①设置客户端上传参数的比例阈值，使得恶意客户端难以进行后门攻击
②设计分布式同态加密策略使得客户端更新对服务器不可见 - 总框架
- Random Update Selection：客户端计算模型差值后，随机选取部分模型
①将模型展开为一维向量
②随机选择一维向量中的部分元素替换为0，其他元素不变 - Update Construction
①服务器计算非零值的个数
②根据每一维度非零值的个数进行平均聚合
- 模型的有效性
- 模型收敛性：二次采样更新的平均值是原始更新平均值的无偏估计值，因此模型在iid和non-iid设置下都可以收敛
- 抵御后门攻击
①在PartFedAvg设置中，若恶意攻击者想完全替换全局模型，至少要被选中1/d轮，并且在训练过程中良性客户端会逐渐削弱后门的影响
②在PartFedAvg设置中，由于无法知道每一维度非零更新的个数，恶意攻击者无法准确的实施scaling attack - 防御推理攻击：由于客户端只上传部分参数并且进行了加密，服务器的推理受限
二、具体细节
- 模型假设
（1）其他人（包括半诚实的服务器）看不到每个客户端的单独模型更新
（2）服务器将以合理的概率检测到模型更新的不诚实上传，该检测概率用于权衡效率和正确性 - 分布式同态加密
HE = (HE.DKeyGen,HE.Enc, HE.DDec,HE.Add, HE.Mult)
HE.DKeyGen：输入安全参数，输出一对公私钥，私钥被分割为n份
HE.Enc：输入公钥与原始文本，输出密文
HE.DDec：n个客户端分别使用私钥和密文作为输入，获得原始向量
HE.Add：使用k个密文和k个聚合系数作为输入，获取利用聚合系数进行加权的密文
HE.Mult：输入k个密文，输出密文的乘积
- 批验证
（1）目的：验证指示向量的线性组合比单独验证每一个指示向量的损耗更小
（2）方法
- 服务器判断哪个客户端是恶意的
①每个客户端对k个指示向量进行同态加密
②对于每个客户端，服务器随机选取k0个α，并使用k0个α对k0个加密的指示向量计算HE.Add，即c
③服务器使用n个私钥解密c和用原文计算的结果一样，则表示客户端为良性的 - 服务器判断是否存在恶意客户端
- 检测不诚实客户端
- 方法：使用批验证
①客户端上传全部更新（Full update）的同态密文和k个指示向量（Part update：只含0/1）的同态密文
②服务器要求所有选定的客户端解密其提交的一部分（k0/k）加密的指示向量
③若解密向量包含更少或更多的元素，则服务器可以立即发现不诚实客户端。 - 优点：保证了不诚实的客户端以一定的概率被捕获，同时，由于指示向量与模型更新相互独立不会向其他人显示清晰的模型更新
- 部分聚合
- 客户端从剩余的k−k0个加密向量中选择一个，用HE.Mult方法将其与加密的完整更新相乘
- 服务器执行HE
①将所有提取的更新相加
②将所有相应的加密指示向量相加
③服务器指示所有选定的客户端解密这两个密文，并计算部分聚合结果
- 安全性
从同态加密的IND-CPA安全性可以看出，安全部分聚合协议对半诚实服务器是安全的，作弊客户端将以合理的概率被服务器捕获。不诚实的客户可以在以下两种情况下成功欺诈：
- 服务器没有选择所有恶意加密指示向量
- 恶意加密指示向量满足验证等式
- 伪代码
总结
本文通过使用分布式同态加密的方法，同时保证了FL的安全性与隐私性，但是由于密码学协议的执行，加解密的计算成本可能较高，需要思考更轻量级的协议
READ-2317 Secure Partial Aggregation: Making Federated Learning More Robust for Industry 4.0 Applica相关推荐
- 【Paper Reading】Privacy-Preserving Aggregation in Federated Learning: A Survey
Privacy-Preserving Aggregation in Federated Learning: A Survey 原文来源:[Arxiv2022] Privacy-Preserving A ...
- （补充及更新）FLTrust: Byzantine-robust Federated Learning via Trust Bootstrapping
摘要:拜占庭鲁棒式联邦学习旨在存在一定数量恶意客户端时学习到一个准确的全局模型.当前存在的拜占庭鲁棒式联邦学习主要思想为在聚合更新全局模型前对所有的客户端模型更新进行统计分析,然后剔除掉可疑的. 服务 ...
- 【论文阅读笔记】Efficient and Secure Federated Learning With Verifiable Weighted Average Aggregation
个人阅读笔记,若有错误欢迎指正 期刊:2023 TNSE 论文链接: Efficient and Secure Federated Learning With Verifiable Weighted ...
- Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehicles
<Blockchain Empowered Asynchronous Federated Learning for Secure Data Sharing in Internet of Vehi ...
- 9.Paper小结——《VerifyNet: Secure and Verifiable Federated Learning》
题目:<VerifyNet: Secure and Verififiable Federated Learning> --<安全的和可验证的联邦学习> 0.Abstract ...
- 最新论文笔记(+20)：Biscotti_ A Blockchain System for Private and Secure Federated Learning / TPDS21
Biscotti: A Blockchain System for Private and Secure Federated Learning"译为"Biscotti:一个用于隐私 ...
- 【联邦学习】横向联邦学习（Horizontal Federated Learning，HFL）
文章目录 一.横向联邦学习的定义 二.横向联邦学习的安全性 三.横向联邦学习架构 1. 客户-服务器架构 2. 对等网络架构 四.联邦优化 五.联邦平均算法 参考链接 一.横向联邦学习的定义 横向联邦 ...
- ICLR2021 - Federated Learning Paper
Federated Semi-Supervised Learning With Inter-Client Consistency & Disjoint Learning 提出的问题很有意思 P ...
- 【论文阅读】一种包含同态加密、差分隐私、多方安全计算的FL隐私保护框架 Efficient and Privacy-Enhanced Federated Learning for Industrial
本文来自:Efficient and Privacy-Enhanced Federated Learning for Industrial Artificial Intelligence 本文提出了一 ...
最新文章
- tf.keras.losses.Huber 损失函数 示例
- golang beego orm报错 must have one register DataBase alias named `default` 解决方案
- 简明 XHTML 1.0 参考手册
- 【前端笔试题】文本居中的几种小技巧
- Docker 安装 Redis （Redis 配置）
- Silverlight Blend动画设计系列八：拖放(Drag-Drop)操作与拖放行为(DragBehavior)
- anaconda3 tensorflow安装踩坑记（WIN10+tensorflow带gpu版本）
- 【算法】栈实现综合表达式计算
- 老公想入手一块10万左右的手表有哪些推荐？
- Java的几种路径总结
- Google发布超难问答数据集「自然问题」：30万对问答，BERT都达不到70分
- 项目期复习：JS操作符，弹窗与调试，凝视，数据类型转换
- 彻底告别加解密模块代码拷贝-JCE核心Cpiher详解
- Abaqus软件2021新版本新功能详解
- 实现cron时间表达式生成器
- 北信源桌面终端管理系统部署与问题
- 嵩天-Python语言程序设计程序题--第六周：组合数据类型
- 云课堂C++类10T级课程第十课
- 区块链学习笔记一 BTC密码学原理
- 乘幂法计算矩阵主特征值和特征向量-Matlab实现