007 Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks（秘密极化网络）

重新思考隐私保护的深度学习：如何评估和阻止隐私攻击

研究隐私保护深度学习（PPDL）机制对抗各种形式的隐私攻击的能力。——>提出了定量衡量模型准确性与重构、跟踪和成员攻击导致的隐私损失之间的协定——>提出了一种新的秘密极化网络（Secret Polarization Network，SPN）来阻止隐私攻击，比现有的PPDL方法更有竞争力。——>与基线机制相比，在数据隐私得到满意保护的情况下，模型精度平均提高了5-20%。

差分隐私由于其隐私保护的理论保障和较低的计算复杂度而备受关注——>过于保守的隐私保护常常会损害模型的效用（分类模型的准确性）——>即使截断大量梯度元素或添加较大的随机噪声，共享梯度的泄露可能允许某些情况下重构训练数据（低隐私预算值并不一定会带来理想的隐私保护水平）

①为了定量衡量对抗不同隐私攻击的隐私保护协议的能力——>遵循隐私对抗方法，关于被保护模型的精度，提出用三个客观的衡量标准来评估承认的隐私损失：重建、追溯、成员损失——>为此，隐私保护特性（PPC）曲线被用来描绘协定（trade-off），用标准化的平均性能（CAP）来准确定量给出的隐私保护特性（PPC）曲线

SPN（本文提出的秘密极化网络）、PPDL（隐私保护深度学习）、DP（差分隐私）方法对重构、成员、跟踪攻击的CAPs（标准化平均性能）比较（CAP越高越好）

②提出了一种新的秘密极化网络（Secret Polarization Network，SPN）和极化损失术语——>在串联公共骨干网络中带来了两个优势：①SPN通过在共享梯度中添加秘密的、广泛元素的、自适应的梯度来帮助击败隐私攻击②增加的极化损耗作为作为正则化项，不断提高联邦学习环境下基线网络的分类精度——>证明了在保证模型准确性的情况下，这种基于SPN的机制能够阻止重构、成员、跟踪攻击

已有研究：

①在深度训练神经网络过程中通过在共享梯度中添加高斯噪声来维护数据隐私②随机选择并共享一小部分梯度元素（具有较大的量级的）来减少隐私损失——>尽管提供了强大的差分隐私保证，实验研究表明，训练数据存在像素级重建和成员信息泄露的风险

③对数据库的隐私攻击（通过旨在破坏隐私的攻击策略的一系列恶意选择）④三种隐私攻击：重构、跟踪、再识别中，有害的重构攻击被表述为求解一个有噪声的线性方程组，重构误差本质上受查询答案的最坏情况精度的限制——>因为在DNNs（深度神经网络）的训练和推断中，对私人训练数据的查询没有明确回答

⑤在深度学习的背景下，成员攻击被证明可识别的人脸图像可以从与预测一起揭示的置信值中被恢复⑥CNNs（卷积神经网络）和RNNs（循环神经网络）中周期性的梯度更新会泄露训练数据、特征、类成员的信息⑦基于激活函数是二次可微的假设，最近的攻击被提出来重建像素级精度的训练数据——>这些重构攻击对不同网络和数据集进行了广泛的实验，被采用来评估隐私保护策略的能力

⑧基于同态加密（HE）和基于安全多方计算（MPC）的隐私保护方法通过加密证明了强大的隐私保护，但往往会带来更高的计算和通信成本

007 Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks（秘密极化网络）相关推荐

Deep learning：三十六(关于构建深度卷积SAE网络的一点困惑)
前言: 最近一直在思考,如果我使用SCSAE(即stacked convolution sparse autoendoer)算法来训练一个的deep model的话,其网络的第二层开始后续所有网络层的 ...
Local Differential Privacy for Deep Learning
motivation:众包数据进行训练过程中,容易造成隐私泄漏. methods: 提出的新算法(LATENT)应用了随机响应的属性--LDP设置和算法的层结构可以使得在不同层级进行隐私 ...
【转载】Deep learning：十九(RBM简单理解)
Deep learning:十九(RBM简单理解) 这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我 ...
Deep learning：十九(RBM简单理解)
这篇博客主要用来简单介绍下RBM网络,因为deep learning中的一个重要网络结构DBN就可以由RBM网络叠加而成,所以对RBM的理解有利于我们对DBN算法以及deep learning算法的进 ...
大牛deep learning集合
作者1:tornadomeet 出处:http://www.cnblogs.com/tornadomeet 作者1:denghp83 出处:http://blog.csdn.net/denghp83/ ...
网上某位牛人的deep learning学习笔记汇总
目录(?)[-] 作者tornadomeet 出处httpwwwcnblogscomtornadomeet 欢迎转载或分享但请务必声明文章出处 Deep learning一基础知识_1 Deep le ...
Deep learning笔记
Deep learning:一(基础知识_1) 出处:http://www.cnblogs.com/tornadomeet 欢迎转载或分享,但请务必声明文章出处. 前言: 最近打算稍微系统的学习下de ...
【读点论文】Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 添加像素扰动来实现图片的对抗AI识别
Fawkes: Protecting Privacy against Unauthorized Deep Learning Models 当今强大的面部识别系统的激增对个人隐私构成了真正的威胁.正如C ...
Repo:Deep Learning with Differential Privacy
翻译参考:https://blog.csdn.net/qq_42803125/article/details/81232037 >>>Introduction: 当前的神经网络存在的 ...

007 Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks（秘密极化网络）

007 Rethinking Privacy Preserving Deep Learning: How to Evaluate and Thwart Privacy Attacks（秘密极化网络）相关推荐

最新文章

热门文章