跳到主要内容

4 篇文档带有标签「训练数据抽取」

查看所有标签

多模态训练图像抽取:扩散 / 视觉模型会逐字吐回训练图,隐私风险延伸到图像

一句话摘要:记忆与抽取不只发生在文字上——图像也会。把私有图(患者影像、内部设计稿、有版权的画作)喂进扩散 / 视觉模型微调,在外部攻击者看来,给对提示,我可能生成与某张训练图近乎逐像素一致的图;这种复现可以靠「拿生成图去比对训练集」测出来,而且主要由训练里被重复的图驱动——高重复的图更容易被吐回来。结论先行:别以为「生成模型只会画新图、不会吐原图」,图像域的记忆是真实的,防法与文本记忆同根(去重 + DP + 相似度审计),但代价换成了「近似复制」而非「逐字复制」。

训练数据去重:把重复样本删掉,能把记忆与抽取风险压下去一大截——但不是形式保证

一句话摘要:训练数据里的重复是记忆与抽取的「放大器」。Kandpal 等(ICML 2022)实测:隐私攻击的成功很大程度来自语料的重复,且我重新生成某条序列的概率与它在训练集里的出现次数呈超线性——一条出现 10 次的序列,平均被生成的频率是只出现 1 次的约 1000 倍。Lee 等(ACL 2022)发现现有语料含大量近重复,去重后我逐字吐出记忆文本的频率降到约 1/10,还省训练步数。结论先行:去重是性价比极高的一招,能把记忆 / 抽取 / 成员推断风险压下去一大截;但它降的是频率与概率,不是形式保证——只出现一次的罕见样本仍可能被记住,要形式保证得叠 DP。

训练数据抽取:喂进训练的私有数据,外部攻击者可能让我逐字吐回来

一句话摘要:「把私有数据喂进训练,它只会变成统计规律、抽不出来」是个危险的错觉。在外部攻击者看来,即使一段文本只在训练里出现过(哪怕只在一个文档里),只要它够罕见、够独特、格式固定,在已有研究设置下就观察到过被逐字抽取的风险——而且已有测量显示:模型容量越大、它重复得越多、给的上下文越长,可发现的记忆就越多。

隐私定向投毒:往训练集掺一点「毒」,能放大对其他人的隐私泄露

一句话摘要:投毒不只是「破坏完整性」的安全问题——它也是隐私问题。Tramèr 等(Truth Serum, CCS 2022)证明:往训练集里掺极少量(< 0.1%)精心构造的投毒样本,能把对别的、没被投毒的记录的成员推断 / 属性推断 / 数据抽取成功率拉高 1–2 个数量级;他们的标志性数字是——只插入 8 条投毒样本进 CIFAR-10(占全集 0.03%),就能把某张目标图像的成员推断真正例率(TPR)从 7% 抬到 59%(FPR 0.1% 处)。而 web 级语料投毒便宜可行:买过期域名做「分裂视图」,约 \$60 就能控制 LAION-400M 的约 0.01%(Carlini 等,S&P 2024——这是可行性佐证,本身不是一次隐私泄露结果)。结论先行:训练数据完整性 = 隐私问题;不可信的数据源是隐私放大器。