AdaCliP: Adaptive Clipping for Private SGD

motivation：相比DPSGD，同样的隐私保证下能够添加更小的噪声。

methods：非凸函数下，通过梯度转换，限制方差，最终得到小噪声。

重要知识点：提供隐私保护近似的一种常见技术是限制函数的灵敏度，并添加与灵敏度界成比例的高斯噪声。为此，我们需要在每一轮SGD中限制梯度的灵敏度。这可以通过几种方式实现。

如果损失函数是可微的(如果不可微则使用子梯度)，并且有Lipschitz界，[16]用Lipschitz界对梯度范数设界，并利用它推导梯度的灵敏度。如果损失函数的导数作为输入的函数有界(例如，在逻辑回归的情况下，可以用可能的最大输入范数来限制梯度范数)，从而得出梯度的灵敏度。在深度学习应用中，如果损失函数没有已知的Lipschitz界，则很难推导出梯度模的先验界。在训练的每次迭代中，[39]提出使用公共数据来获得梯度范数的近似界，并在这个近似界上剪切梯度。然而，公共数据的可用性是一个强有力的假设，[13,14]剪辑了没有公共数据可用性的梯度。我们还假设不能访问公共数据。

gt是梯度下降向量，辅助向量at,bt

转换向量wt=(gt-at)/bt;裁剪之后wt-hat;加噪声之后变成wt~,最后还原成

通过引理2可以得出，新梯度的方差bias很重要，通过triangle inequality and Jensen’s inequality,得出：

找最优at bt可以去bound ，然后把上述公式简化为：

上式中的第一项对应于变换后的梯度wt可能被裁剪的情况。第二项对应于注入到剪切梯度的高斯噪声。通过公式直接找at bt有点难，所以限制裁剪：

去最小化添加的高斯噪声。

因此最后总的噪声范数的期望就是：

原来的梯度漂白：

现在通过

可以看出传统的加噪声方式添加了更多的噪声。

每一个B之后，调整均值和方差，因为在迭代中没有直接的随机梯度，所以采用指数平均方法对之前的梯度和现在的梯度进行调整。

实验结果较好：

AdaCliP: Adaptive Clipping for Private SGD相关推荐

论文阅读：Differentially Private Learning with Adaptive Clipping
论文名字 Differentially Private Learning with Adaptive Clipping 来源年份 2019 作者 Galen Andrew, Om Thakkar ...
Differentially Private Learning with Adaptive Clipping
motivation:这篇文章是在模型训练阶段添加满足DP的噪声从而达到隐私保护的目的,在之前读的论文中,不同的数据集大小,优化器,激活函数的不同都会影响整个模型的性能.看的比较多的就是在裁剪阈值C上 ...
大佬是如何从头写一篇顶级论文的？
原文丨https://zhuanlan.zhihu.com/p/538681254 最近完成了一篇很满意的论文,不仅整个过程愉快,回味无穷,而且真正做到了"学术有影响工业有产出" ...
我是如何从头开始写一篇顶级论文的
文 | 重剑无锋@知乎源 | 极市平台关于一篇顶会论文是如何产生的这件事-且看作者为你娓娓道来,如何从一形成routine的日常科研生活中挖掘到巧妙的产出. 最近完成了一篇很满意的论文,不仅整个过 ...
Repo:Deep Learning with Differential Privacy
翻译参考:https://blog.csdn.net/qq_42803125/article/details/81232037 >>>Introduction: 当前的神经网络存在的 ...
Deep Learning with Differential Privacy翻译
正在读CCS上的"Deep Learning with Differential Privacy",人工翻译了一下: Abstract 基于神经网络的机器学习技术已经在多个领域取得 ...
Privacy Amplification by Decentralization
motivation:平衡隐私保护和实用性,当用户很多,中心DP有瓶颈. methods:LDP+relaxation==>Network DP,local view(local memory ...
Android群英传笔记——第十二章：Android5.X 新特性详解，Material Design UI的新体验
Android群英传笔记--第十二章:Android5.X 新特性详解,Material Design UI的新体验第十一章为什么不写,因为我很早之前就已经写过了,有需要的可以去看 Android高 ...
网络安全学术顶会——CCS '22 议题清单、摘要与总结（上）
注意:本文由GPT4与Claude联合生成. 按语:ChatGPT在计算机领域的翻译质量还是欠缺一些,翻译出来的中文有的不够自然,经常完全按照英文的表达方式来,导致中文特别长,很绕.GPT4的翻译效果 ...

AdaCliP: Adaptive Clipping for Private SGD

AdaCliP: Adaptive Clipping for Private SGD相关推荐

最新文章

热门文章