一句话摘要：为了让我「照着格式来」，你把几条真实客户记录当 few-shot 示例贴进 prompt——这些私有示例可以被抽取、被成员推 断（判定某条记录是否在示例集里）。DP 上下文学习（DP-ICL）不去改权重，而是把差分隐私上到 prompt 里的私有示例：要么把私有示例切成不相交的子集、对我在各子集上的输出做带噪聚合再回答，要么用私有数据生成一批带 (ε, δ) 保证的合成示例去替换真示例。它能框住的，是单条私有示例对答案的影响——不是我在内省 prompt。两条边界先记住：它保护示例、不保护 query 本身；而且 ε 不为零、聚合外的旁路照漏。
一句话摘要：你打开 DP-SGD、在模型卡上报了「ε=8」——但这个 ε 是真的吗？裁剪写错、噪声加少、会计用错口径，都会悄悄把那条保证掏空，而报告上的数字纹丝不动。DP 审计就是那道测试：往训练里插入大量独立探针，训练后用「猜哪些探针在场」的成功率，反推出一个经验 ε 下界——你实际交付的隐私，不会比这个下界更强。Steinke 等（NeurIPS 2023 杰出论文）把它做到了一次训练就能跑，便宜到可以当回归项。结论先行：「用了 DP 库」不等于「ε 成立」，审计是把「声称的 ε」变成「审计过的 ε」的唯一经验手段。
一句话摘要：拿敏感数据微调我、再指望「它自然就不会泄露」，靠不住——那正是记忆与抽取的来源。差分隐私微调（DP-SGD：裁剪单样本梯度 + 加噪）给的是一条可证明的性质：把任一条样本对我参数的影响框进一个 (ε, δ) 上界，从而压低它被逐字复现、被成员推断的概率。但记住两件事：ε 不为零——它是「限制泄露」不是「零泄露」；而且越私密、效用通常越低。别把「加了 DP」当成「私密」，要看 ε 是多少、保护的是样本还是用户。
一句话摘要：水印能做两件事——给我生成的文本打可检测标记（绿/红表水印，检测端无需访问我的权重）、以及事后检测「我的数据被训了吗」（往语料里埋虚构「陷阱句」，再用成员推断把它逼出来）。但二者都有同一条硬边界：一次有预算的改写就能把信号抹掉。Kirchenbauer 等（ICML 2023）的绿/红表水印靠 z 检验给出可解释 p 值、检测无需模型访问，但可检测性随文本熵下降而下降（低熵 / 短输出难标）；他们后续的可靠性研究（ICLR 2024）实测：人工、尤其 LLM 改写会显著压低可检测性，水印被「摊薄」、检测需要更多 token，WinMax + SelfHash 只能部分恢复。结论先行：水印是溯源 / 取证的概率证据，不是强保证——别把「有水印」当「抹不掉」。
一句话摘要：你在私有数据上做 LoRA / 适配器微调，然后把这份 delta 发到 HuggingFace，心想「底座是公开的，我只发了一小块差量，我的数据藏得住」。这份心安是假的——发布的 delta 恰恰把微调信号浓缩在了一处：底座与微调后模型之间的差，本身就是微调数据的指纹。攻击者只要同时握有你的适配器和那个公开底座，就能把公开底座当参照系，跑一次被 delta 放大的成员推断 / 抽取 。LoRA-Leak（arXiv 2507.18302，⚠️预印本）实测：即便在保守微调设置下，成员推断仍能到 0.775 AUC，且「拿公开预训练模型当参照」正是被以往 MIA 忽略、却能放大泄露的那一手。结论先行：「delta 小 / 底座公开」不是隐私——公开底座是攻击者手里的免费参照，把你的成员可区分度抬高了。
一句话摘要：把含个人信息的语料喂进训练，我在普通对话里就可能把它复现出来——不一定要攻击者精心构造。线上脱敏基本靠成熟工具（Microsoft Presidio / Google Cloud Sensitive Data Protection / AWS Comprehend + Macie / Azure AI Language PII）做命名实体识别（NER）+ 模式检测，能显著降低回吐；但这几家的官方文档都自陈「检测不保证查全」——NER 会漏检，且 PII 跨字段可被重建（机制实证见 Lukas 等，IEEE S&P 2023）。结论先行：PII 回吐要按「减少 + 审计 + 承认不可根除」处理，别把「跑了脱敏」当成「无 PII」——那是这条最常见的假安全。
一句话摘要：用户行使被遗忘权（GDPR Art.17），你从训练集删了他的记录——但模型可能还记得（见卷二《训练数据抽取》：进了权重的记忆，删源数据不会自动消失）。机器遗忘要的是「让模型表现得像从没见过这条」。难点有二：① 怎么真遗忘（精确遗忘 ≈ 等价重训，贵；近似遗忘快但无保证）；② 怎么证明真忘了（可验证删除）——这才是工程上最缺的一环。
一句话摘要：「我们用合成数据替了真实数据，所以它是匿名的」——这是假安全。结论先行：合成数据默认不提供匿名性。Stadler 等（USENIX Security 2022）证明，凡基于「真实记录与合成记录有多像」做的隐私评估都会严重低估风险，且合成数据并不比传统匿名化更安全——除非生成过程带形式化的差分隐私（DP）保证；而即便有 DP，也躲不开硬性的隐私↔效用权衡。Chen 等（GAN-Leaks，CCS 2020）进一步显示：哪怕攻击者只能从生成器采样（完全黑盒，正是「发布一份合成数据集」的现实场景），成员推断（MIA）仍能以高于随机的水平区分某条真实记录是否进过训练集，且随过拟合上升而变准。能给上界的只有形式化 DP，且 ε 不为零。
一句话摘要：记忆与抽取不只发生在文字上——图像也会。把私有图（患者影像、内部设计稿、有版权的画作）喂进扩散 / 视觉模型微调，在外部攻击者看来，给对提示，我可能生成与某张训练图近乎逐像素一致的图；这种复现可以靠「拿生成图去比对训练集」测出来，而且主要由训练里被重复的图驱动——高重复的图更容易被吐回来。结论先行：别以为「生成模型只会画新图、不会吐原图」，图像域的记忆是真实的，防法与文本记忆同根（去重 + DP + 相似度审计），但代价换成了「近似复制」而非「逐字复制」。
一句话摘要：这条不是判定某人在不在（成员推断），也不是重建某条样本（反演），而是套出我整个训练集的统计属性——「这个模型是用『多少比例女性 / 某族裔』的数据训出来的」。Ganju 等（CCS 2018）用一个元分类器做到了：在美国人口普查收入数据上，能区分「训练集 38% 女性 vs 65% 女性」、「0% 白人 vs 87% 白人」两种构成。Suri & Evans（PoPETs 2022）进一步把它形式化为「分布推断」，并给出 n_leaked 指标量化风险。结论先行：训练集的群体构成本身就可能敏感（商业机密 / 群体隐私），别只盯着保护单个个体——有时攻击者要的根本不是某一条记录。
一句话摘要：成员推断（MIA）问一个看似无害、实则要命的问题——「这条样本在不在我的训练集里」。它不需要原文（这是它和训练数据抽取的根本区别），只要一个是 / 否；可一旦「是」本身就敏感（比如「这个人在某病种数据集里」），这个比特就是泄露。它是差分隐私要防的核心对象，也是抽取、属性推断等一连串隐私攻击的地基——所以放在卷一第一条。
一句话摘要：跑完遗忘算法、声称某条数据「忘了」，但在单个训练好的模型级别，这件事没法被验证——Thudi 等（USENIX Security 2022）给出伪造（forging）构造：同一组模型参数可以由另一个数据集 / 另一条梯度序列训出，于是模型方能拿一份「我遗忘了」的假证明充数，而实际上那条记录还留着。配套地，TOFU（Maini 等，COLM 2024）把「遗忘质量」做成可测基准，发现没有现成方法能在「遗忘质量 vs 效用」间真正过关。结论先行：遗忘要审计算法 / 过程，不能只盯最终权重；「删了」必须可证，否则是合规假象。
一句话摘要：除了「判定某人在不在训练集」（成员推断），推断类攻击还有两支更直接要命的：模型反演——靠反复查询 + 我吐出的置信度，重建出某个类别训练样本的「样子」（Fredrikson 等在 CCS 2015 上从人脸识别模型重建出可辨认的人脸）；属性推断——给定一个人的部分已知信息 + 我，推断出他未公开的敏感属性（Fredrikson 等 2014 的华法林剂量案例）。结论先行：置信度 / 概率输出是燃料，而属性推断还借了人群统计相关性——别以为「没把原始数据发出去」就安全，要看输出粒度、是否叠 DP、以及类别是否对应到单个个体。
一句话摘要：别以为「权重不公开 = 模型就是保密的」。只要我暴露一个查询接口，攻击者用一批精心构造的查询 + 我的输出，就能（按目标不同）复刻我的功能，甚至解出我的部分参数。Tramèr 等（USENIX Security 2016）在判别式 ML 服务上近 乎完美复刻逻辑回归 / 决策树 / 神经网络；Carlini 等（ICML 2024 最佳论文）对生产 LLM 套出最后的投影层、恢复隐藏维度——在其论文设置下成本可低至数十美元量级。隐私含义先行：被窃取 / 复刻的模型可被离线反复攻击（成员推断、抽取），把一次性 API 访问放大成持久隐私风险。结论：API 访问 ≠ 零泄露，要按「查询本身可被用来抽取模型信息」做威胁建模。
一句话摘要：训练数据里的重复是记忆与抽取的「放大器」。Kandpal 等（ICML 2022）实测：隐私攻击的成功很大程度来自语料的重复，且我重新生成某条序列的概率与它在训练集里的出现次数呈超线性——一条出现 10 次的序列，平均被生成的频率是只出现 1 次的约 1000 倍。Lee 等（ACL 2022）发现现有语料含大量近重复，去重后我逐字吐出记忆文本的频率降到约 1/10，还省训练步数。结论先行：去重是性价比极高的一招，能把记忆 / 抽取 / 成员推断风险压下去一大截；但它降的是频率与概率，不是形式保证——只出现一次的罕见样本仍可能被记住，要形式保证得叠 DP。
一句话摘要：「把私有数据喂进训练，它只会变成统计规律、抽不出来」是个危险的错觉。在外部攻击者看来，即使一段文本只在训练里出现过（哪怕只在一个文档里），只要它够罕见、够独特、格式固定，在已有研究设置下就观察到过被逐字抽取 的风险——而且已有测量显示：模型容量越大、它重复得越多、给的上下文越长，可发现的记忆就越多。
一句话摘要：你跑完一个遗忘算法——现在得证明它有用。标准化基准（RWKU、MUSE、TOFU 家族）把「我们忘了」变成一个可比、可回归的分数：不是单看「还背不背得出」，而是同时量遗忘质量 × 保留效用 × 攻击下的隐私泄露三根轴。这些基准收敛到一个令人不安的共识——很少有方法能同时过「效用」和「泄露」两关（MUSE 报告：八个算法里只有一个不导致严重隐私泄露 ⚠️ 预印本）。但基准本身也有盲区：基准是代理，过基准 ≠ 真忘（接本卷《遗忘可验证性》），覆盖之外是照不到的角落。
一句话摘要：「我到底记住了多少私有数据」不该靠感觉，它可以量出来。Secret Sharer（USENIX Security 2019）给了方法：往训练集插入随机的探针（canary），训练后用暴露度（exposure）量它相对随机串被我偏好的程度——暴露度越高，说明记得越牢。Quantifying Memorization（ICLR 2023）进一步测出：模型越大、某条重复越多、给的上下文越长，可发现的记忆越多。结论先行：发布前用 canary + exposure 审计记忆，把「记住了多少」变成可回归的数字，别凭直觉说「应该没记住」——那是审计缺位的假安全。
一句话摘要：投毒不只是「破坏完整性」的安全问题——它也是隐私问题。Tramèr 等（Truth Serum, CCS 2022）证明：往训练集里掺极少量（< 0.1%）精心构造的投毒样本，能把对别的、没被投毒的记录的成员推断 / 属性推断 / 数据抽取成功率拉高 1–2 个数量级；他们的标志性数字是——只插入 8 条投毒样本进 CIFAR-10（占全集 0.03%），就能把某张目标图像的成员推断真正例率（TPR）从 7% 抬到 59%（FPR 0.1% 处）。而 web 级语料投毒便宜可行：买过期域名做「分裂视图」，约 \$60 就能控制 LAION-400M 的约 0.01%（Carlini 等，S&P 2024——这是可行性佐证，本身不是一次隐私泄露结果）。结论先行：训练数据完整性 = 隐私问题；不可信的数据源是隐私放大器。