一句话摘要：为了让我「照着格式来」，你把几条真实客户记录当 few-shot 示例贴进 prompt——这些私有示例可以被抽取、被成员推 断（判定某条记录是否在示例集里）。DP 上下文学习（DP-ICL）不去改权重，而是把差分隐私上到 prompt 里的私有示例：要么把私有示例切成不相交的子集、对我在各子集上的输出做带噪聚合再回答，要么用私有数据生成一批带 (ε, δ) 保证的合成示例去替换真示例。它能框住的，是单条私有示例对答案的影响——不是我在内省 prompt。两条边界先记住：它保护示例、不保护 query 本身；而且 ε 不为零、聚合外的旁路照漏。
一句话摘要：你打开 DP-SGD、在模型卡上报了「ε=8」——但这个 ε 是真的吗？裁剪写错、噪声加少、会计用错口径，都会悄悄把那条保证掏空，而报告上的数字纹丝不动。DP 审计就是那道测试：往训练里插入大量独立探针，训练后用「猜哪些探针在场」的成功率，反推出一个经验 ε 下界——你实际交付的隐私，不会比这个下界更强。Steinke 等（NeurIPS 2023 杰出论文）把它做到了一次训练就能跑，便宜到可以当回归项。结论先行：「用了 DP 库」不等于「ε 成立」，审计是把「声称的 ε」变成「审计过的 ε」的唯一经验手段。
一句话摘要：拿敏感数据微调我、再指望「它自然就不会泄露」，靠不住——那正是记忆与抽取的来源。差分隐私微调（DP-SGD：裁剪单样本梯度 + 加噪）给的是一条可证明的性质：把任一条样本对我参数的影响框进一个 (ε, δ) 上界，从而压低它被逐字复现、被成员推断的概率。但记住两件事：ε 不为零——它是「限制泄露」不是「零泄露」；而且越私密、效用通常越低。别把「加了 DP」当成「私密」，要看 ε 是多少、保护的是样本还是用户。
一句话摘要：你在私有数据上做 LoRA / 适配器微调，然后把这份 delta 发到 HuggingFace，心想「底座是公开的，我只发了一小块差量，我的数据藏得住」。这份心安是假的——发布的 delta 恰恰把微调信号浓缩在了一处：底座与微调后模型之间的差，本身就是微调数据的指纹。攻击者只要同时握有你的适配器和那个公开底座，就能把公开底座当参照系，跑一次被 delta 放大的成员推断 / 抽取。LoRA-Leak（arXiv 2507.18302，⚠️预印本）实测：即便在保守微调设置下，成员推断仍能到 0.775 AUC，且「拿公开预训练模型当参照」正是被以往 MIA 忽略、却能放大泄露的那一手。结论先行：「delta 小 / 底座公开」不是隐私——公开底座是攻击者手里的免费参照，把你的成员可区分度抬高了。
一句话摘要：「我们用合成数据替了真实数据，所以它是匿名的」——这是假安全。结论先行：合成数据默认不提供匿名性。Stadler 等（USENIX Security 2022）证明，凡基于「真实记录与合成记录有多像」做的隐私评估都会严重低估风险，且合成数据并不比传统匿名化更安全——除非生成过程带形式化的差分隐私（DP）保证；而即便有 DP，也躲不开硬性的隐私↔效用权衡。Chen 等（GAN-Leaks，CCS 2020）进一步显示：哪怕攻击者只能从生成器采样（完全黑盒，正是「发布一份合成数据集」的现实场景），成员推断（MIA）仍能以高于随机的水平区分某条真实记录是否进过训练集，且随过拟合上升而变准。能给上界的只有形式化 DP，且 ε 不为零。
一句话摘要：记忆与抽取不只发生在文字上——图像也会。把私有图（患者影像、内部设计稿、有版权的画作）喂进扩散 / 视觉模型微调，在外部攻击者看来，给对提示，我可能生成与某张训练图近乎逐像素一致的图；这种复现可以靠「拿生成图去比对训练集」测出来，而且主要由训练里被重复的图驱动——高重复的图更容易被吐回来。结论先行：别以为「生成模型只会画新图、不会吐原图」，图像域的记忆是真实的，防法与文本记忆同根（去重 + DP + 相似度审计），但代价换成了「近似复制」而非「逐字复制」。
一句话摘要：成员推断（MIA）问一个看似无害、实则要命的问题——「这条样本在不在我的训练集里」。它不需要原文（这是它和训练数据抽取的根本区别），只要一个是 / 否；可一旦「是」本身就敏感（比如「这个人在某病种数据集里」），这个比特就是泄露。它是差分隐私要防的核心对象，也是抽取、属性推断等一连串隐私攻击的地基——所以放在卷一第一条。
一句话摘要：联邦学习常被说成「只共享梯度 / 更新、不共享原始数据，所以隐私」。但 Deep Leakage from Gradients（Zhu 等，NeurIPS 2019）证明：从共享的梯度可以反演出原始训练样本——图像逐像素、文本逐 token 匹配，核心算法不到 20 行。Geiping 等（NeurIPS 2020）进一步在高分辨率、已训练好的网络上做到，且对多步 / 多样本平均的梯度也能破。结论先行：「共享梯度」不等于「私有」；FL 要靠安全聚合 + DP 才有实质保证，别把「没传原始数据」当隐私。
一句话摘要：除了「判定某人在不在训练集」（成员推断），推断类攻击还有两支更直接要命的：模型反演——靠反复查询 + 我吐出的置信度，重建出某个类别训练样本的「样子」（Fredrikson 等在 CCS 2015 上从人脸识别模型重建出可辨认的人脸）；属性推断——给定一个人的部分已知信息 + 我，推断出他未公开的敏感属性（Fredrikson 等 2014 的华法林剂量案例）。结论先行：置信度 / 概率输出是燃料，而属性推断还借了人群统计相关性——别以为「没把原始数据发出去」就安全，要看输出粒度、是否叠 DP、以及类别是否对应到单个个体。
一句话摘 要：联邦学习（FL）让模型在大量设备上训练、原始数据不离设备，只上传模型更新。但「数据不出设备」只是起点——更新本身会泄露（能反推训练数据）。所以生产级要叠：DP（限制单设备 / 用户对模型的影响）+ 安全聚合（服务器只看到多设备更新之和、看不到单个）。真实落地：Gboard 用 FL + DP-FTRL 训了二十多个带 DP 保证的语言模型；Apple 用本地 DP 收 emoji / 输入法等遥测。要点：FL ≠ 私有、本地 DP 的 ε 要看清、用户级 vs 样本级别错配。这是卷三《DP 微调》在「联邦 + 大规模生产」上的落地面。
一句话摘要：联邦分析（federated analytics）是「不集中原始数据、只把统计量带出设备」的一类数据科学方法——设备各自在本地数据上算局部量，靠安全聚合让服务器只看到合并后的总数、看不到任何单台设备的明细（Ramage & Mazzocchi, Google Research, 2020）；要发现「最频繁项」（heavy hitters）这类统计还要叠差分隐私（Zhu, Kairouz 等, AISTATS 2020；Bassily 等, NeurIPS 2017）。它和联邦学习是兄弟：那是训模型，这是算统计量。已落地：Google Pixel 的「Now Playing」歌曲流行度计数、Apple 的热门 emoji / 域名遥测都是生产用例。结论先行：「联邦」二字不自动等于私有——数据留本地只是起点，真正的隐私保证系于 DP 与安全聚合是否真做对；少了任一层，聚合结果与多轮查询仍会把个体抖出来。
一句话摘要：训练数据里的重复是记忆与抽取的「放大器」。Kandpal 等（ICML 2022）实测：隐私攻击的成功很大程度来自语料的重复，且我重新生成某条序列的概率与它在训练集里的出现次数呈超线性——一条出现 10 次的序列，平均被生成的频率是只出现 1 次的约 1000 倍。Lee 等（ACL 2022）发现现有语料含大量近重复，去重后我逐字吐出记忆文本的频率降到约 1/10，还省训练步数。结论先行：去重是性价比极高的一招，能把记忆 / 抽取 / 成员推断风险压下去一大截；但它降的是频率与概率，不是形式保证——只出现一次的罕见样本仍可能被记住，要形式保证得叠 DP。
一句话摘要：「把私有数据喂进训练，它只会变成统计规律、抽不出来」是个危险的错觉。在外部攻击者看来，即使一段文本只在训练里出现过（哪怕只在一个文档里），只要它够罕见、够独特、格式固定，在已有研究设置下就观察到过被逐字抽取的风险——而且已有测量显示：模型容量越大、它重复得越多、给的上下文越长，可发现的记忆就越多。
一句话摘要：「我到底记住了多少私有数据」不该靠感觉，它可以量出来。Secret Sharer（USENIX Security 2019）给了方法：往训练集插入随机的探针（canary），训练后用暴露度（exposure）量它相对随机串被我偏好的程度——暴露度越高，说明记得越牢。Quantifying Memorization（ICLR 2023）进一步测出：模型越大、某条重复越多、给的上下文越长，可发现的记忆越多。结论先行：发布前用 canary + exposure 审计记忆，把「记住了多少」变成可回归的数字，别凭直觉说「应该没记住」——那是审计缺位的假安全。