一、联邦学习的定义

横向联邦学习和纵向联邦学习要求所有的参与方具有相同的特征空间或样本空间，从而建立起一个有效的共享机器学习模型。然而，在更多的实际情况下，各个参与方所拥有的数据集可能存在高度的差异，例如：参与方的数据集之间可能只有少量的重叠样本和特征，并且这些数据集的规模与分布情况可能差别很大，此时横向联邦学习与纵向联邦学习就不是很适合了。

在这种情况下，通过迁移学习技术，使其可以应用于更广的业务范围，同时可以帮助只有少量数据（较少重叠的样本和特征）和弱监督（较少标记）的应用建立有效且精确的机器学习模型，并且遵守数据隐私和安全条例的规定。这种组合即称为联邦迁移学习（FTL），它可以处理超出现有横向联邦学习和纵向联邦学习能力范围的问题。

一个联邦迁移学习系统一般包括两方，称为源域和目标域。一个多方的联邦迁移学习系统可以被认为是多个两方联邦迁移学习系统的结合。

二、联邦迁移学习的分类

基于实例的联邦迁移学习

对于横向联邦学习，参与方的数据通常来自不同的分布，这可能会导致在这些数据上训练的机器学习模型的性能较差。参与方可以有选择地挑选或者加权训练样本，以减小分布差异，从而可以将目标损失函数最小化。对于纵向联邦学习，参与方可能具有非常不同的业务目标。因此，对齐的样本及其某些特征可能对联邦迁移学习产生负面影响，这被称为负迁移。在这种情况下，参与方可以有选择地挑选用于训练的特征和样本，以避免产生负迁移。

基于特征的联邦迁移学习

参与方协同学习一个共同的表征空间。在该空间中，可以缓解从原始数据转换而来的表征之间的分布和语义差异，从而使知识可以在不同领域之间传递。对于横向联邦学习，可以通过最小化参与方样本之间的最大平均差异来学习共同的表征空间。对于纵向联邦学习，可以通过最小化对齐样本中属于不同参与方的表征之间的距离，来学习共同的表征空间。

基于模型的联邦迁移学习

参与方协同学习可以用于迁移学习的共享模型，或者参与方利用预训练模型作为联邦学习任务的全部或者部分初始模型。横向联邦学习本身就是一种基于模型的联邦迁移学习，因为在每个通信回合中，各参与方会协同训练一个全局模型，并且各参与方把该全局模型作为初始模型进行微调。对于纵向联邦学习，可以从对齐的样本中学习预测模型或者利用半监督学习技术，以推断缺失的特征和标签，然后，可以使用扩大的训练样本训练更准确的共享模型。

三、联邦迁移学习算法

3.1、联邦迁移学习的训练过程

种联邦迁移学习算法训练过程包含以下几个步骤：

● 步骤一：

A方：在本地运行神经网络 $Net^A$ ，以获得数据的隐藏表征 $u_i^A$ ；

B方：在本地运行神经网络 $Net^B$ ，以获得数据的隐藏表征 $u_i^B$ ；

● 步骤二：

A方：计算和加密一组中间结果，设为 $[[(\frac{\partial \pounds }{\partial \Theta _l^B})^A]]_A$ ，并将其发送给B方，以帮助计算梯度 $\frac{\partial \pounds }{\partial \Theta _l^B}$ ；

B方：计算和加密一组中间结果，设为 $[[(\frac{\partial \pounds }{\partial \Theta _l^A})^B]]_B$ 和 $[[L^B]]_B$ ，并发送给A方，以帮助计算梯度 $\frac{\partial \pounds }{\partial \Theta _l^A}$ 和损失L；

● 步骤三：

A方：基于收到的 $[[(\frac{\partial \pounds }{\partial \Theta _l^A})^B]]_B$ 和 $[[L^B]]_B$ ，通过式 $[[\pounds ]]_p = [[\pounds _1]]_p + [[\gamma \pounds_2 ]]_p + [[\frac{\lambda }{2}(\pounds _3^A + \pounds _3^B)]]_p$ 和 $[[\frac{\partial \pounds }{\partial \theta _l^A}]]_p = [[\frac{\partial \pounds_1 }{\partial \theta _l^A}]]_p + [[\gamma \frac{\partial \pounds_2 }{\partial \theta _l^A}]]_p + [[\gamma \theta_l^A ]]_p$ 计算得到 $[[\frac{\partial \pounds }{\partial \theta _l^A}]]_B$ 和 $[[L]]_B$ ，之后A方创建随机掩码 $m^A$ 并将其添加至 $[[\frac{\partial \pounds }{\partial \theta_l^A }]]_B$ 以得到 $[[\frac{\partial \pounds }{\partial \theta_l^A } + m^A]]_B$ ，A方向B方发送 $[[\frac{\partial \pounds }{\partial \theta_l^A } + m^A]]_B$ 和 $[[L]]_B$ ；

B方：基于收到的 $[[(\frac{\partial \pounds }{\partial \theta _l^B })^A]]_A$ ，通过 $[[\frac{\partial \pounds }{\partial \theta _l^B}]]_p = [[\frac{\partial \pounds _1}{\partial \theta _l^B}]]_p + [[\gamma \frac{\partial \pounds _2}{\partial \theta _l^B}]]_p + [[\lambda \theta _l^B]]_p$ 计算得到 $[[\frac{\partial \pounds }{\partial \theta _l^B}]]_A$ 。之后，B方创建随机掩码 $m^B$ 并将其添加至 $[[\frac{\partial \pounds }{\partial \theta _l^B}]]_A$ 以得到 $[[\frac{\partial \pounds }{\partial \theta _l^B} + m^B]]_A$ ，B方向A方发送 $[[\frac{\partial \pounds }{\partial \theta _l^B} + m^B]]_A$ 。

● 步骤四：

A方：解密得到 $\frac{\partial \pounds }{\partial \theta _l^B} + m^B$ ，并将其发送给B方；

B方：解密得到 $\frac{\partial \pounds }{\partial \theta _l^A} + m^A$ 和L，并将它们发回给A方。

● 步骤五：

A方：去掉随机掩码并获得梯度 $\frac{\partial \pounds }{\partial \theta _l^A}$ ，之后，使用自己的梯度来更新自己的模型；

B方：去掉随机掩码并获得梯度 $\frac{\partial \pounds }{\partial \theta _l^B}$ ，之后，使用自己的梯度来更新自己的模型。

● 步骤六：

一旦损失L收敛，A方向B方发送终止信号，否则就前往步骤一以继续训练过程。

3.2、联邦迁移学习的预测过程

一旦联邦迁移学习模型训练完毕，它便能用于预测B方中的未标注数据。对于未标注数据样本的预测过程，步骤如下：

● 步骤一：

B方用已训练好的神经网络参数 $\Theta ^B$ 计算 $[[u_j^B]]$ ，并给A方发送加密过的 $[[u_j^B]]$ 。

● 步骤二：

A方评估 $[[u_j^B]]$ 并用随机值对结果进行掩藏，并将加密和掩藏过的 $[[\varphi (u_j^B) + m^A]]_B$ 发送给B方。

● 步骤三：

B方解密 $[[\varphi (u_j^B) + m^A]]_B$ 并将 $\varphi (u_j^B) + m^A$ 发送给A方。

● 步骤四：

A方获得 $\varphi (u_j^B)$ ，进而得到标签 $y_j^B$ ，并将标签 $y_j^B$ 发送给B方。

四、基于秘密共享的联邦迁移学习

4.1、基于秘密共享的联邦迁移学习的训练过程

对于基于秘密共享的联邦迁移学习的训练过程，步骤如下：

● 步骤一：

A方和B方在本地运行各自的神经网络 $Net^A$ 和 $Net^B$ ，以获得数据的隐藏表征 $u_i^A$ 和 $u_i^B$ 。

● 步骤二：

A方和B方通过秘密共享协议共同地计算 $L_{AB}$ 。A方计算 $L_A$ 并发送给B方，B方计算 $L_B$ 并发送给A方。

● 步骤三：

A方和B方通过式 $L = L_A + L_B + L_{AB}$ 分别重构损失L。

● 步骤四：

A方和B方通过秘密共享协议共同地计算 $(\frac{\partial \pounds }{\partial \theta _l^A})_{AB}$ 和 $(\frac{\partial \pounds }{\partial \theta _l^B})_{AB}$ 。

● 步骤五：

A方通过 $\frac{\partial \pounds }{\partial \theta _l^A} = (\frac{\partial \pounds }{\partial \theta _l^A})_A + (\frac{\partial \pounds }{\partial \theta _l^A})_{AB}$ 计算梯度，并更新它的本地模型 $\theta _l^A$ 。同时，B方通过 $\frac{\partial \pounds }{\partial \theta _l^B} = (\frac{\partial \pounds }{\partial \theta _l^B})_B + (\frac{\partial \pounds }{\partial \theta _l^B})_{AB}$ 计算梯度，并更新它的本地模型 $\theta _l^B$ 。

● 步骤六：

一旦损失L收敛，A方给B方发送终止信号。否则，前往步骤一以继续训练过程。

4.2、基于秘密共享的联邦迁移学习的预测过程

在训练结束之后，就可以进入预测阶段，预测过程主要包括两个步骤。

● 步骤一：

A方和B方在本地运行已训练完毕的神经网络 $Net^A$ 和 $Net^B$ ，以获得数据隐藏表征 $u_i^A$ 和 $u_i^B$ 。

● 步骤二：

基于 $u_i^A$ 和 $u_i^B$ ，A方和B方共同地通过秘密共享协议重建 $\varphi (u_j^B)$ 以及计算标签 $y_j^B$ 。

隐私计算--24--联邦迁移学习相关推荐

2月份隐私计算、联邦学习的市场概览
2月份隐私计算.联邦学习的市场概览摘要:在隐私计算市场中,三股信息流如清风拂面,流转不息.采购意向,犹如花开满园,为供应商和服务提供商探明商机:招标信息,如云卷云舒,为客户了解市场动态提供重要参考: ...
联邦学习 OR 迁移学习？No，我们需要联邦迁移学习
2020-11-18 13:40:43 机器之心分析师网络作者:仵冀颖编辑:H4O 在这篇文章中,作者通过 4 篇论文详细介绍了联邦学习中的联邦迁移学习问题,并探讨了向经典联邦学习中引入迁移学习的 ...
【Pytorch神经网络实战案例】24 基于迁移学习识别多种鸟类（CUB-200数据集）
1 迁移学习在实际开发中,常会使用迁移学习将预训练模型中的特征提取能力转移到自己的模型中. 1.1 迁移学习定义迁移学习指将在一个任务上训练完成的模型进行简单的修改,再用另一个任务的数据继续训练, ...
基于分布式CPU计算的Deeplearning4j迁移学习应用实例
原帖: 阿里云云栖社区 https://yq.aliyun.com/articles/114669 排版清晰,建议去原帖看更多深度文章,请关注:https://yq.aliyun.com/clo ...
隐私计算的介绍-入门学习笔记(一)
一.隐私权定义为两种: 个人隐私数据的隐私权,与科学数据隐私权,即大数据交易的所有权. 二.隐私计算的范畴及发展范围: 隐私计算是隐私信息的所有权.管理权和使用权分离时隐私度量.隐私泄漏代价.隐私保护 ...
面向隐私计算的联邦学习激励机制与效率优化研究
大致是了解了申请项目的全过程,写一份好的申请书,选择合适的课题真的十分重要科研项目进展希望能拿到国家级项目 – 好消息是拿国家级了--坏消息是EI即以上一篇论文+专利,未来有学弟看到这篇文章,申请 ...
隐私计算--联邦学习
目录联邦学习联邦学习系统构架联邦学习开源框架联邦学习分类横向联邦学习纵向联邦学习联邦迁移学习联邦学习特点参考推荐: 联邦学习概念及应用 https://blog.csdn.net/c ...
隐私计算 — 联邦学习 — Overview
目录文章目录目录前言联邦学习联邦学习与分布式机器学习的区别联邦学习的网络拓扑类型客户端-服务器拓扑对等网络拓扑联邦学习的数据分区类型横向联邦学习纵向联邦学习联邦迁移学习(Fed ...
隐私计算--37--演讲实录：深入浅出谈联邦学习
一.前言前段时间受CSDN邀请,为CSDN和易观分析主办的<隐私计算-Meet-up>做隐私计算相关的演讲,最终选题<深入浅出谈联邦学习>,本次分享的内容主要分为三部分,第一 ...

隐私计算--24--联邦迁移学习

一、联邦学习的定义

二、联邦迁移学习的分类

三、联邦迁移学习算法

3.1、联邦迁移学习的训练过程

3.2、联邦迁移学习的预测过程

四、基于秘密共享的联邦迁移学习

4.1、基于秘密共享的联邦迁移学习的训练过程

4.2、基于秘密共享的联邦迁移学习的预测过程

隐私计算--24--联邦迁移学习相关推荐

最新文章

热门文章