跳到主要内容

卷一 · 隐私根基

前 LLM 与判别式时代的隐私地基。成员推断攻击从哪里来,差分隐私 / 联邦学习 / 同态加密 / 安全多方计算 / 可信执行环境各自保护什么、不保护什么——只讲后续各卷依赖的最小承重集,不写成 PPML 教材。

成员推断攻击

成员推断(MIA)问一个看似无害、实则要命的问题——「这条样本在不在我的训练集里」。它不需要原文(这是它和训练数据抽取的根本区别),只要一个是 / 否;可一旦「是」本身就敏感(比如「这个人在某病种数据集里」),这个比特就是泄露。它是差分隐私要防的核心对象,也是抽取、属性推断等一连串隐私攻击的地基——所以放在卷一第一条。

研究

可信执行环境(TEE)

可信执行环境(TEE)用硬件把「使用中的数据」(data in use)圈进一个加密、可远程证明的飞地(enclave),让同租户、恶意 OS / hypervisor、甚至云运营商都看不到里面——这是把 LLM 的 prompt 与权重对云厂商保密的硬件路线。但记牢两条边界:信任根是芯片厂商(你信的是 Intel / AMD / NVIDIA 的密钥与实现),且 TEE 反复被微架构侧信道攻破(Foreshadow 一类)。它是卷五「机密推理」的承重墙,所以先在卷一交代清楚它保证什么、不保证什么。

生产

同态加密 / 安全多方计算

同态加密(HE)让你把数据加密后发出去,服务器直接在密文上算、算完你才解密——服务器全程看不到明文;安全多方计算(MPC)让多方各自不交出输入地合算一个函数。两者和 TEE 的根本区别:不依赖任何硬件信任,安全来自密码学假设。代价是慢一大截(HE 尤甚),所以今天多用于窄场景,LLM 全程私有推理仍很贵。卷一交代它们保证什么、贵在哪、和 TEE 怎么选。

试验

模型抽取与窃取

别以为「权重不公开 = 模型就是保密的」。只要我暴露一个查询接口,攻击者用一批精心构造的查询 + 我的输出,就能(按目标不同)复刻我的功能,甚至解出我的部分参数。Tramèr 等(USENIX Security 2016)在判别式 ML 服务上近乎完美复刻逻辑回归 / 决策树 / 神经网络;Carlini 等(ICML 2024 最佳论文)对生产 LLM 套出最后的投影层、恢复隐藏维度——在其论文设置下成本可低至数十美元量级。隐私含义先行:被窃取 / 复刻的模型可被离线反复攻击(成员推断、抽取),把一次性 API 访问放大成持久隐私风险。结论:API 访问 ≠ 零泄露,要按「查询本身可被用来抽取模型信息」做威胁建模。

研究

模型反演与属性推断

除了「判定某人在不在训练集」(成员推断),推断类攻击还有两支更直接要命的:模型反演——靠反复查询 + 我吐出的置信度,重建出某个类别训练样本的「样子」(Fredrikson 等在 CCS 2015 上从人脸识别模型重建出可辨认的人脸);属性推断——给定一个人的部分已知信息 + 我,推断出他未公开的敏感属性(Fredrikson 等 2014 的华法林剂量案例)。结论先行:置信度 / 概率输出是燃料,而属性推断还借了人群统计相关性——别以为「没把原始数据发出去」就安全,要看输出粒度、是否叠 DP、以及类别是否对应到单个个体。

研究

属性 / 分布推断

这条不是判定某人在不在(成员推断),也不是重建某条样本(反演),而是套出我整个训练集的统计属性——「这个模型是用『多少比例女性 / 某族裔』的数据训出来的」。Ganju 等(CCS 2018)用一个元分类器做到了:在美国人口普查收入数据上,能区分「训练集 38% 女性 vs 65% 女性」、「0% 白人 vs 87% 白人」两种构成。Suri & Evans(PoPETs 2022)进一步把它形式化为「分布推断」,并给出 n_leaked 指标量化风险。结论先行:训练集的群体构成本身就可能敏感(商业机密 / 群体隐私),别只盯着保护单个个体——有时攻击者要的根本不是某一条记录。

研究