训练数据抽取
「把私有数据喂进训练，它只会变成统计规律、抽不出来」是个危险的错觉。在外部攻击者看来，即使一段文本只在训练里出现过（哪怕只在一个文档里），只要它够罕见、够独特、格式固定，在已有研究设置下就观察到过被逐字抽取的风险——而且已有测量显示：模型容量越大、它重复得越多、给的上下文越长，可发现的记忆就越多。
量化记忆与审计
「我到底记住了多少私有数据」不该靠感觉，它可以量出来。Secret Sharer（USENIX Security 2019）给了方法：往训练集插入随机的探针（canary），训练后用暴露度（exposure）量它相对随机串被我偏好的程度——暴露度越高，说明记得越牢。Quantifying Memorization（ICLR 2023）进一步测出：模型越大、某条重复越多、给的上下文越长，可发现的记忆越多。结论先行：发布前用 canary + exposure 审计记忆，把「记住了多少」变成可回归的数字，别凭直觉说「应该没记住」——那是审计缺位的假安全。
训练数据去重
训练数据里的重复是记忆与抽取的「放大器」。Kandpal 等（ICML 2022）实测：隐私攻击的成功很大程度来自语料的重复，且我重新生成某条序列的概率与它在训练集里的出现次数呈超线性——一条出现 10 次的序列，平均被生成的频率是只出现 1 次的约 1000 倍。Lee 等（ACL 2022）发现现有语料含大量近重复，去重后我逐字吐出记忆文本的频率降到约 1/10，还省训练步数。结论先行：去重是性价比极高的一招，能把记忆 / 抽取 / 成员推断风险压下去一大截；但它降的是频率与概率，不是形式保证——只出现一次的罕见样本仍可能被记住，要形式保证得叠 DP。
隐私定向投毒
投毒不只是「破坏完整性」的安全问题——它也是隐私问题。Tramèr 等（Truth Serum, CCS 2022）证明：往训练集里掺极少量（< 0.1%）精心构造的投毒样本，能把对别的、没被投毒的记录的成员推断 / 属性推断 / 数据抽取成功率拉高 1–2 个数 量级；他们的标志性数字是——只插入 8 条投毒样本进 CIFAR-10（占全集 0.03%），就能把某张目标图像的成员推断真正例率（TPR）从 7% 抬到 59%（FPR 0.1% 处）。而 web 级语料投毒便宜可行：买过期域名做「分裂视图」，约 \$60 就能控制 LAION-400M 的约 0.01%（Carlini 等，S&P 2024——这是可行性佐证，本身不是一次隐私泄露结果）。结论先行：训练数据完整性 = 隐私问题；不可信的数据源是隐私放大器。
DP 审计
你打开 DP-SGD、在模型卡上报了「ε=8」——但这个 ε 是真的吗？裁剪写错、噪声加少、会计用错口径，都会悄悄把那条保证掏空，而报告上的数字纹丝不动。DP 审计就是那道测试：往训练里插入大量独立探针，训练后用「猜哪些探针在场」的成功率，反推出一个经验 ε 下界——你实际交付的隐私，不会比这个下界更强。Steinke 等（NeurIPS 2023 杰出论文）把它做到了一次训练就能跑，便宜到可以当回归项。结论先行：「用了 DP 库」不等于「ε 成立」，审计是把「声称的 ε」变成「审计过的 ε」的唯一经验手段。
多模态训练图像抽取
记忆与抽取不只发生在文字上——图像也会。把私有图（患者影像、内部设计稿、有版权的画作）喂进扩散 / 视觉模型微调，在外部攻击者看来，给对提示，我可能生成与某张训练图近乎逐像素一致的图；这种复现可以靠「拿生成图去比对训练集」测出来，而且主要由训练里被重复的图驱动——高重复的图更容易被吐回来。结论先行：别以为「生成模型只会画新图、不会吐原图」，图像域的记忆是真实的，防法与文本记忆同根（去重 + DP + 相似度审计），但代价换成了「近似复制」而非「逐字复制」。