一、引言

在联邦学习系统中，来自不同参与方的数据可能会导致出现 非独立同分布 的情况。并且不同的参与方可能有数量不均的训练数据样本，这可能导致联邦模型产生偏差，甚至会使联邦模型训练失败。

在联邦学习系统中，因为数据是由用户自己收集的，可能各自相差很大。但是如果数据非独立同分布就会影响训练。所以联邦学习中存在数据是IID还是非IID的讨论。

二、什么是IID、非IID

数据独立同分布（Independent Identically Distribution，IID）：数据与数据之间都是独立的，但满足同一个分布。（独立：一个数据的出现不会影响另一个数据）

当随机变量集合中的每个随机变量都具有相同的概率分布时，则该集合是独立的、同分布的，即IID。
在所有其他情况下，数据都是非独立的、同分布的，即非IID。

三、联邦学习下的IID与非IID

在联合学习的背景下，当 每个样本在每个客户机上出现的可能性相等 时，数据就是IID。

事实上，IID 永远不会发生，因为数据是由客户生成的，因此客户将影响包含特定样本的概率。这在联邦学习中是不可避免的。
由于数据不会被聚合，而且训练只发生在主要由个人创建的本地数据上，因此这些数据不可避免地会包含由他们的行为导致的某些模式。结果是，数据并不是独立且相同地分布的，我们将这种情况称为非IID数据。

传统的机器学习技术假设数据的IID。研究表明，机器学习的范式发生了转变，从假设IID数据转变为假设非IID数据。

参考链接

论文：Robustness of FederatedAveraging for Non-IID Data

【联邦学习】IID与非IID数据相关推荐

基于联邦学习的多源异构数据融合算法
摘要随着科技的迅猛发展,具有计算和存储能力的边缘设备数量不断增加,产生的数据流量更是呈指数式增长,这使得以云计算为核心的集中式处理模式难以高效处理边缘设备产生的数据.另外,由于边缘网络设备的多样性 ...
基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning
5.基于联邦学习的多源异构数据融合算法 Multi-Source Heterogeneous Data Fusion Based on Federated Learning 摘要:随着科技的迅猛发展, ...
联邦学习中常见的Clients数据Non-IID非独立同分布总结
联邦学习写在前面联合概率分布联邦学习中客户端数据Non-IID分布的五种类型: 类型1:Feature distribution skew (convariate shift) 类型2:Labe ...
坑挺多 | 联邦学习FATE：上传数据（一）
吐槽一下这个号称"最流行"的联邦学习框架,对新手入门非常不友好,从安装到上传数据,需要多个文档对着看,列举一下笔者在自己测试时候的坑: 代码确实有,但是配套的说明文档不是一气呵成的 ...
联邦学习【分布式机器学习技术】【①各客户端从服务器下载全局模型；②各客户端训练本地数据得到本地模型；③各客户端上传本地模型到中心服务器；④中心服务器接收各方数据后进行加权聚合操作，得全局模型】
随着计算机算力的提升,机器学习作为海量数据的分析处理技术,已经广泛服务于人类社会. 然而,机器学习技术的发展过程中面临两大挑战: 一是数据安全难以得到保障,隐私数据泄露问题亟待解决: 二是网络安全隔离 ...
虚拟专题：联邦学习 | 面向隐私保护的非聚合式数据共享综述
来源:通信学报面向隐私保护的非聚合式数据共享综述李尤慧子1, 殷昱煜1, 高洪皓2,3, 金一4, 王新珩5 1 杭州电子科技大学计算机学院,浙江杭州 310018 2 上海大学计算机工程与科学 ...
如何用最短的时间理解一项数字技术？推荐这7本最新的白皮书（大数据、云原生、区块链、联邦学习等，附下载）...
正文开始信息技术.数据被国家认定为新的生产要素,对于数据从业者来说是时代赋予的巨大红利,但也要认识到,数据要素要发挥出价值,离不开数据要素市场的培育,更依赖于信息技术(大数据.人工智能.区块链.云计 ...
联邦学习最新研究趋势
2020-03-13 09:48:18 在2019年大火的联邦学习,最新的研究进展怎么样了? 文 | 蒋宝尚编 | 贾伟联邦学习无疑是近期 AI 界最火爆的技术范式之一,在过去的2019年,涌现 ...
虚拟专题：联邦学习 | 联邦学习算法综述
来源:大数据期刊联邦学习算法综述王健宗1 ,孔令炜1 ,黄章成1 ,陈霖捷1 ,刘懿1 ,何安珣1 ,肖京2 1. 平安科技(深圳)有限公司,广东深圳 518063 2. 中国平安保险(集团)股 ...

【联邦学习】IID与非IID数据

文章目录

一、引言

二、什么是IID、非IID

三、联邦学习下的IID与非IID

参考链接

【联邦学习】IID与非IID数据相关推荐

最新文章

热门文章