跳到主要内容

2 篇文档带有标签「合成数据」

查看所有标签

DP 上下文学习:给 prompt 里的私有示例上差分隐私,而不是给训练

一句话摘要:为了让我「照着格式来」,你把几条真实客户记录当 few-shot 示例贴进 prompt——这些私有示例可以被抽取、被成员推断(判定某条记录是否在示例集里)。DP 上下文学习(DP-ICL)不去改权重,而是把差分隐私上到 prompt 里的私有示例:要么把私有示例切成不相交的子集、对我在各子集上的输出做带噪聚合再回答,要么用私有数据生成一批带 (ε, δ) 保证的合成示例去替换真示例。它能框住的,是单条私有示例对答案的影响——不是我在内省 prompt。两条边界先记住:它保护示例、不保护 query 本身;而且 ε 不为零、聚合外的旁路照漏。

合成数据隐私:用合成数据替代真实数据≠匿名——除非有形式化 DP,且仍有效用权衡

一句话摘要:「我们用合成数据替了真实数据,所以它是匿名的」——这是假安全。结论先行:合成数据默认不提供匿名性。Stadler 等(USENIX Security 2022)证明,凡基于「真实记录与合成记录有多像」做的隐私评估都会严重低估风险,且合成数据并不比传统匿名化更安全——除非生成过程带形式化的差分隐私(DP)保证;而即便有 DP,也躲不开硬性的隐私↔效用权衡。Chen 等(GAN-Leaks,CCS 2020)进一步显示:哪怕攻击者只能从生成器采样(完全黑盒,正是「发布一份合成数据集」的现实场景),成员推断(MIA)仍能以高于随机的水平区分某条真实记录是否进过训练集,且随过拟合上升而变准。能给上界的只有形式化 DP,且 ε 不为零。