机密推理
你想用云上的大模型、又不想让云厂商看到 prompt（或你想供模型、又不想让客户端拿到权重）。机密推理就是这个目标的落地：今天真能用的主要是硬件隔离 + 远程证明路线——如 NVIDIA H100/H200 的 GPU 机密计算，以及 Apple Private Cloud Compute 这 类带可验证透明日志的私有云计算架构（两者机制同族但形态不同，别混为一谈）；密码学路线（HE / MPC）在 LLM 规模仍太贵。但「机密」是个营销词——真正的边界不在「厂商说机密」，而在你（或你的设备）有没有验证证明、威胁模型覆盖谁、以及它仍没解决什么（侧信道、信任芯片厂商、法律令）。本条把卷一的 TEE 与 HE·MPC 地基，落到「能不能真把私有推理跑起来」。
可验证删除与机器遗忘
用户行使被遗忘权（GDPR Art.17），你从训练集删了他的记录——但模型可能还记得（见卷二《训练数据抽取》：进了权重的记忆，删源数据不会自动消失）。机器遗忘要的是「让模型表现得像从没见过这条」。难点有二：① 怎么真遗忘（精确遗忘 ≈ 等价重训，贵；近似遗忘快但无保证）；② 怎么证明真忘了（可验证删除）——这才是工程上最缺的一环。
生产级 DP·FL 部署
联邦学习（FL）让模型在大量设备上训练、原始数据不离设备，只上传模型更新。但「数据不出设备」只是起点——更新本身会泄露（能反推训练数据）。所以生产级要叠：DP（限制单设备 / 用户对模型的影响）+ 安全聚合（服务器只看到多设备更新之和、看不到单个）。真实落地：Gboard 用 FL + DP-FTRL 训了二十多个带 DP 保证的语言模型；Apple 用本地 DP 收 emoji / 输入法等遥测。要点：FL ≠ 私有、本地 DP 的 ε 要看清、用户级 vs 样本级别错配。这是卷三《DP 微调》在「联邦 + 大规模生产」上的落地面。
梯度泄露
联邦学习常被说成「只共享梯度 / 更新、不共享原始数据，所以隐私」。但 Deep Leakage from Gradients（Zhu 等，NeurIPS 2019）证明：从共享的梯度可以反演出原始训练样本——图像逐像素、文本逐 token 匹配，核心算法不到 20 行。Geiping 等（NeurIPS 2020）进一步在高分辨率、已训练好的网络上做到，且对多步 / 多样本平均的梯度也能破。结论先行：「共享梯度」不等于「私有」；FL 要靠安全聚合 + DP 才有实质保证，别把「没传原始数据」当隐私。
安全聚合
《梯度泄露》证明「只共享单个更新」会被反演。安全聚合（Bonawitz 等，ACM CCS 2017）是直接的防御：用安全多方计算让服务器只能算出「所有客户端更新的和」、看不到任何单个更新——单点被藏起来，反演就失去了支点。它通信高效、对客户端掉线鲁棒，并已用于 Google 的生产 FL（Bonawitz 等，MLSys 2019：让单设备更新即便在数据中心内存里也保持加密）。结论先行：安全聚合把「服务器=可信」降级成「服务器只见聚合和」；但它不是万能——防的是「看到单个更新」，不防「聚合和本身泄露」或「参与方串通」，仍要配 DP。
遗忘可验证性
跑完遗忘算法、声称某条数据「忘了」，但在单个训练好的模型级别，这件事没法被验证——Thudi 等（USENIX Security 2022）给出伪造（forging）构造：同一组模型参数可以由另一个数据集 / 另一条梯度序列训出，于是模型方能拿一份「我遗忘了」的假证明充数，而实际上那条记录还留着。配套地，TOFU（Maini 等，COLM 2024）把「遗忘质量」做成可测基准，发现没有现成方法能在「遗忘质量 vs 效用」间真正过关。结论先行：遗忘要审计算法 / 过程，不能只盯最终权重；「删了」必须可证，否则是合规假象。
推理期侧信道
即使流量全程加密、模型一个字都不多吐，把我部署起来的那套系统——逐 token 流式、按 token 长度分包、跨用户共享缓存——本身就是一条泄露通道。Weiss 等（USENIX Security 2024）只观测每个加密流式 token 的长度，就把一个 AI 助手响应的约 29% 逐字还原、对约 55% 推断出主题（在 OpenAI ChatGPT-4 与 Microsoft Copilot 的浏览器 + API 流量上演示；披露后厂商已打补丁）。Gu 等（ICML 2025）审计 17 家真实 LLM API 提供方，发现 8 家有 prompt 缓存、其中 7 家是跨用户全局共享（含 OpenAI）——攻击者看到一个异常快的响应，就能推断「别人刚刚提交过同一个 prompt」。结论先行：隐私边界要算到部署层 / 网络层 / 缓存层，不只是模型层；否则你以为加密就安全，其实时序和长度在替你说话。
拆分学习泄露
拆分学习把模型从某层切成两半——客户端跑前几层、把中间激活（smashed data）发给服务器跑剩下的——常被说成「原始数据不出本地，所以隐私」。结论先行：这不等于私有。Feature-Space Hijacking Attack（Pasquini 等，CCS 2021）证明，恶意服务器能主动把拆分模型引导进不安全状态，从中间激活重建出客户端的私有训练输入（在 MNIST / Omniglot / CelebA 上重建图像）；UnSplit（Erdoğan 等，WPES@CCS 2022）更表明连诚实但好奇的服务器——只知客户端结构、不需主动干预——也能反演（MNIST / Fashion-MNIST / CIFAR-10 上重建 MSE ≈ 0.08–0.15）。别把「没传原始像素」当隐私。
联邦分析
联邦分析（federated analytics）是「不集中原始数据、只把统计量带出设备」的一类数据科学方法——设备各自在本地数据上算局部量，靠安全聚合让服务器只看到合并后的总数、看不到任何单台设备的明细（Ramage & Mazzocchi, Google Research, 2020）；要发现「最频繁项」（heavy hitters）这类统计还要叠差分隐私（Zhu, Kairouz 等, AISTATS 2020；Bassily 等, NeurIPS 2017）。它和联邦学习是兄弟：那是训模型，这是算统计量。已落地：Google Pixel 的「Now Playing」歌曲流行度计数、Apple 的热门 emoji / 域名遥测都是生产用例。结论先行：「联邦」二字不自动等于私有——数据留本地只是起点，真正的隐私保证系于 DP 与安全聚合是否真做对；少了任一层，聚合结果与多轮查询仍会把个体抖出来。
端侧推理隐私
把模型跑在你自己的设备上，prompt 就不必离开设备——这条路线真能落地（Apple Intelligence 的端侧 ~30 亿参数模型、Google Gemini Nano 经 Android AICore 端侧运行都已发货），也是 机密推理「云看不到」之外的互补路线：端侧是「设备不发出去」。但「端侧」是个容易被过度解读的词——真正的边界不在「厂商说端侧」，而在哪些请求仍会回落到云、端侧模型因为更小付了多少能力代价、以及遥测 / 诊断 / 模型下载这些通道。结论先行：「端侧」≠「零外传」；能验证的是「这一路请求确实在本机跑完、prompt 没为这条路径离开设备」，而哪些请求端侧、哪些回落云是一个要去核的部署事实，不是模型 的一句承诺。回落云那部分，得回到机密推理去验证。
LoRA 适配器泄露
你在私有数据上做 LoRA / 适配器微调，然后把这份 delta 发到 HuggingFace，心想「底座是公开的，我只发了一小块差量，我的数据藏得住」。这份心安是假的——发布的 delta 恰恰把微调信号浓缩在了一处：底座与微调后模型之间的差，本身就是微调数据的指纹。攻击者只要同时握有你的适配器和那个公开底座，就能把公开底座当参照系，跑一次被 delta 放大的成员推断 / 抽取。LoRA-Leak（arXiv 2507.18302，⚠️预印本）实测：即便在保守微调设置下，成员推断仍能到 0.775 AUC，且「拿公开预训练模型当参照」正是被以往 MIA 忽略、却能放大泄露的那一手。结论先行：「delta 小 / 底座公开」不是隐私——公开底座是攻击者手里的免费参照，把你的成员可区分度抬高了。
遗忘基准与评测
你跑完一个遗忘算法——现在得证明它有用。标准化基准（RWKU、MUSE、TOFU 家族）把「我们忘了」变成一个可比、可回归的分数：不是单看「还背不背得出」，而是同时量遗忘质量 × 保留效用 × 攻击下的隐私泄露三根轴。这些基准收敛到一个令人不安的共识——很少有方法能同时过「效用」和「泄露」两关（MUSE 报告：八个算法里只有一个不导致严重隐私泄露 ⚠️ 预印本）。但基准本身也有盲区：基准是代理，过基准 ≠ 真忘（接本卷《遗忘可验证性》），覆盖之外是照不到的角落。