近日，麻省理工的研究人员开发出了一种新的隐私度量方法，称为“Probably Approximately Correct Privacy”，简称“PAC 隐私”。PAC隐私是一种技术，也是一种隐私指标，通过这种技术可在保护敏感数据的同时，又能保持机器学习模型的性能，也就是说可以实现机器学习与隐私保护的双赢！

想象一下，一个科学家团队已经开发出一种机器学习模型，可以预测患者是否患有肺癌。他们希望将这个模型与世界各地的医院分享，以便临床医生可以在诊断中开始使用它。

但是有一个问题。为了教会他们的模型如何预测癌症，他们向其展示了数百万张真实的肺部扫描图像，这是一个名为训练的过程。这些敏感数据现在被编码到模型的内部工作机制中，有可能被恶意代理提取出来。科学家们可以通过向模型添加噪声或更一般的随机性来防止这种情况发生，这使得对手更难猜测原始数据。然而，扰动会降低模型的准确性，因此能够添加的噪声越少越好。

MIT的研究人员开发了一种技术，可以让用户在保证敏感数据受到保护的前提下，尽可能地添加最小量的噪声。

研究人员创建了一个新的隐私指标，称为“Probably Approximately Correct”(PAC)隐私，并基于这个指标构建了一个框架，可以自动确定需要添加的最小噪声量。此外，该框架不需要了解模型或其训练过程的内部工作原理，这使得它更易于用于不同类型的模型和应用。

在一些情况下，研究人员表明，与其他方法相比，使用PAC隐私保护敏感数据所需的噪声量要小得多。这可以帮助工程师创建机器学习模型，证明在真实世界环境中隐藏了训练数据，同时保持准确性。

PAC Privacy利用敏感数据的不确定性或熵，以有意义的方式进行攻击，这使得我们能够在许多情况下添加一个数量级的更少的噪声。这个框架允许我们理解任意数据处理的特征，并在不进行人工修改的情况下自动将其私有化。虽然我们处于早期阶段并且只做简单的例子，但我们对这种技术前景感到兴奋，”电气工程和计算机科学系埃德温·西布利·韦伯斯特教授Srini Devadas说道，他是这篇关于PAC隐私的新论文的合著者。

Devadas与该研究的第一作者、电气工程和计算机科学研究生学生韩晟合作撰写了这篇论文。这项研究将在国际密码学会议上(Crypto 2023)上展示。

数据隐私的一个基本问题，就是添加了噪声的机器学习模型中，对手可以从中恢复多少敏感数据？

差分隐私是一种流行的隐私定义，它认为如果一个观察到发布的模型的对手无法推断出任意个人的数据是否用于训练处理，那么隐私就得到了保障。但是，要证明防止对手区分数据使用通常需要大量噪声来掩盖它。这种噪声会降低模型的准确性。

PAC Privacy则换了角度看待问题。它描述了添加噪声后，对手恢复随机抽样或生成的敏感数据中的任何部分有多困难，而不仅仅是关注可区分性问题。

例如，如果敏感数据是人脸图像，差分隐私将关注对手是否能够判断某人的脸是否在数据集中。另一方面，PAC Privacy可以关注对手是否能够提取一个轮廓(近似),以便某个人可以将其识别为特定个人的脸部。

一旦研究人员确立了PAC Privacy的定义，他们创建了一个算法，该算法自动告诉用户向模型中添加多少噪声以防止对手自信地重建敏感数据的接近近似值。这个算法保证了隐私，即使对手有无限的计算能力，Xiao说道。

为了找到最优的噪声量，PAC Privacy算法从对手的角度依赖于原始数据中的不确定性或熵。

这种自动技术从数据分布或大数据池中随机取样，并在这些子样本数据上运行用户的机器学习训练算法以生成输出模型。它在不同的子采样上多次执行此操作，并比较所有输出之间的方差。这种方差决定了需要添加多少噪声-方差越小，所需的噪声就越少。

本文由“开放隐私计算”翻译整理，转载请注明来源，原文来自：MIT  News (https://news.mit.edu/2023/new-way-look-data-privacy-0714）