1.纵向LR的损失函数

FATE的代码里和一些论文里，写的实现纵向LR训练的时候，损失函数都是：

这个损失函数和我们常见的形式不太一样。怎么来的可以参考标签为{+1,-1}时，逻辑回归损失函数推导。

这种形式的损失函数的好处是，在多方联合计算损失函数的时候，怎么对各方结果进行合并处理很清晰。

2.损失函数展开成多项式

用同态加密的话，原始的损失函数包含exp运算，这个运算目前同台加密不能直接支持，所以需要把exp函数展开成多项式函数。

2.1 用到的泰勒展开式

2.2 原损失函数展开并计算梯度

【上述（1）中最后一项中的y可以去掉，以为 y^2=1】

上述公式（1）对w进行求导数，得到关于w的梯度：

3.关于同态加密

这个坑比较大，最简单的理解就是这种加密方法有一种特性：【操作一】对两个数加密之后再求和（或者求乘积），【操作二】两个数求和（或者求乘积）之后再加密；【操作一】和【操作二】二者结果相同。所以上述的多项式只包含求乘积、求和，所以可以对数据加密，再发给别人去计算。

4.纵向LR整体流程

如上图所显示：A、B为联合学习的两方，C为可信赖的协调者或者仲裁者（fate中称为abiter），其步骤如下：

（1）C把Public Key(公钥)，发给A和B，C自己还有私钥；
（2）不妨设B为拥有label的一方。那么A把wx计算完再用公钥加密，然后把[[x]]，[[wx]]发送给B。这样，根据前面的损失函数公式和梯度公式，B可以结合自己的数据（也用公钥加密）算出总的损失函数值和梯度；B把A需要的那部分梯度发给A;
（3）A、B把自己需要的那部分梯度发给C，C解密之后，把梯度各自发给A、B;
（4）A、B根据梯度更新自己的参数；
然后重复直到停止（比如C可以根据损失函数值不再变化就停止）。

5.参考资料

技术探讨类——纵向LR
：这篇资料里有代码，不过公式推导的细节不太全，我当时没咋看懂；

官方文档：联邦学习的研究与应用

联合学习 | 纵向LR原理综述相关推荐

联邦学习攻击与防御综述
联邦学习攻击与防御综述吴建汉1,2, 司世景1, 王健宗1, 肖京1 1.平安科技(深圳)有限公司,广东深圳 518063 2.中国科学技术大学,安徽合肥 230026 摘要:随着机器学习技术的 ...
使用深度学习的图像分割（综述）
文章目录前言摘要 1.引言 2.深度神经网络的概述 2.1卷积神经网络(CNNs) 2.2递归神经网络(RNNs)和LSTM 2.3编码器-解码器和自动编码器模型 2.4生成式对抗性网络(GANs ...
深度学习于语音合成研究综述
深度学习于语音合成研究综述本文综述近年来深度学习用于语音合成的一些方法. WaveNet 在自回归生成模型在图像和文本领域广泛应用的时候,WaveNet [4] 尝试将这些思想应用于语音领域.仿照P ...
基于点云的3D深度学习主干网络进展综述
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文由知乎作者Slumbers授权转载,不得擅自二次转载.原文链接:https://zhuanlan. ...
【技术综述】基于弱监督深度学习的图像分割方法综述
文章首发于微信公众号<有三AI> [技术综述]基于弱监督深度学习的图像分割方法综述本文是基于弱监督的深度学习的图像分割方法的综述,阐述了弱监督方法的原理以及相对于全监督方法的优势,首发 ...
基于小样本学习的图像分类技术综述
基于小样本学习的图像分类技术综述人工智能技术与咨询昨天本文来自<自动化学报>,作者李颖等关注微信公众号:人工智能技术与咨询.了解更多咨询! 图像分类是一个经典的研究课题, 典型的图 ...
nlp论文-《Neural Machine Translation by Jointly Learning to Align and Translate》-基于联合学习对齐和翻译的神经机器翻译（一）
<Neural Machine Translation by Jointly Learning to Align and Translate>--基于联合学习对齐和翻译的神经机器翻译作者 ...
基于深度学习的知识图谱综述
基于深度学习的知识图谱综述摘要:随着现如今计算机设备的更新,计算能力的不断提高促使深度学习再一度推上热门技术,深度学习已经广泛应用于图像处理.文本挖掘.自然语言处理等方面,在医学.交通.教育.旅游等 ...
史上最全 | 基于深度学习的3D分割综述（RGB-D/点云/体素/多目）
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[分割]术交流群后台回复[分割综述]获取语义分割.实例分割.全景分割.弱监督分割等超全 ...

联合学习 | 纵向LR原理综述

文章目录