隐私地图
侧边栏按卷(阅读主线)组织。这页给两条查询轴:按技术板块找条目,或按威胁 → 缓解反查「这个泄露面有哪些条目在管、残余风险是什么」。
想更快上手? 四条速用轴:新读者从必读 12 条进;上线前照最小隐私基线过 10 条;想看现实代价读真实事故与实证索引;想理解「为什么会漏」按机制索引的根因读。
关于覆盖
本主题精而深、不追条数(见 PROPOSAL)。14 个技术板块现已各有至少一条落地条目,或以「贯穿各条」方式覆盖——后续按深度补强,不为铺板块而注水。若某天又出现 _规划中_ 标记,那是刻意标出的缺口,免得「看着全」其实有空白(这正是本书反对的一种假安全)。
按技术板块浏览
14 个技术板块是查询轴(边界见 PROPOSAL §6.2)。已落地的条目挂在其主板块下:
- 推断类攻击(MIA / 反演 / 属性):成员推断攻击 · 模型反演与属性推断 · 属性 / 分布推断 · 多模态地理定位推断 · LoRA 适配器泄露
- 记忆与训练数据抽取:训练数据抽取 · 训练数据去重 · 隐私定向投毒 · 多模态训练图像抽取
- 差分隐私:DP 微调 · DP 上下文学习
- 联邦学习与安全聚合:生产级 DP·FL 部署 · 梯度泄露 · 安全聚合 · 拆分学习泄露 · 联邦分析
- 机器遗忘与被遗忘权:可验证删除与机器遗忘 · 遗忘可验证性
- 隐私保护计算(HE / MPC / TEE):可信执行环境 · 同态加密 / 安全多方计算 · 机密推理 · 端侧推理隐私
- RAG 与 Agent 隐私:多租户 RAG 检索泄露 · 跨会话记忆串味 · Agent 工具外联外泄 · 嵌入反演 · MCP 数据流与最小采集 · 多智能体内部信道泄露 · Computer-use 屏幕捕获隐私
- 推理服务期隐私:推理服务数据边界 · 推理期侧信道 · 微调即服务隐私
- 上下文面隐私:上下文面隐私(系统提示词 / 会话上下文 / 工具结果泄露)· 推理链泄露(推理链 / 思维轨迹带出敏感数据)
- PII 检测与脱敏:PII 回吐(训练语料 PII 在对话里复现、脱敏的限度)· 合成数据隐私
- 模型抽取与窃取:模型抽取与窃取(查询 API 复刻功能 / 套出部分参数)
- 治理与合规:LLM 水印与溯源(内容溯源 / 「被训了吗」及其改写极限);并贯穿各条「合规映射」小段,索引见卷六
- 数据生命周期与数据治理:数据生命周期与删除传播(删除请求跨存储传播)· 持久记忆的隐私与留存(产品记忆按设计留存 / 可删边界)
- 隐私评测与审计:量化记忆与审计(探针 / 暴露度量化记忆)· DP 审计(经验下界声称的 ε)· 遗忘基准与评测(遗忘干净了吗 )· Agent 隐私评测(AgentDojo);亦贯穿各条「最小可测试断言」小块
威胁 → 缓解矩阵
按「你担心的泄露面」反查:哪些条目在管、它们没解决什么。
| 威胁(你担心什么) | 在管的条目 | 残余风险 / 没解决的 |
|---|---|---|
| 私有数据被模型记住、逐字吐回 | 训练数据抽取 · 训练数据去重 | 去重 ≠ 消除(罕见单次样本仍记)、DP ≠ 零泄露、输出过滤是猫鼠游戏 |
| 生成 / 视觉模型吐回训练图(人脸 / 医学 / 版权,近似复制) | 多模态训练图像抽取 | 主要由高重复图驱动、去重减不根除、near-copy 也侵权 / 泄隐私、相似度过滤是猫鼠 |
| 靠置信度重建训练样本的「样子」/ 推断敏感属性 | 模型反演与属性推断 | 反演给类别代表非逐字原图、属性推断含人群统计压不到零、置信度是燃料 |
| 一张普通照片被多模态模型反推出拍摄地点(doxxing) | 多模态地理定位推断 | 剥 EXIF ≠ 匿 名(线索在画面内容里)、街区级绝对精度仍有限但在爬升、对欠发达地区的偏差是运气非保护 |
| 判定某人是否在训练集(成员身份本身敏感) | 成员推断 · DP 微调 | 平均准确率掩盖尾部、降过拟合无形式保证、ε 要看清 |
| 发布 LoRA / 适配器 delta,以为「底座公开、delta 小」数据就藏得住 | LoRA 适配器泄露 | 公开底座是免费参照、delta 浓缩微调指纹(0.775 AUC ⚠️ 预印本)、合并 ≠ 抹除、参数高效 ≠ 隐私 |
| 打开了 DP,但声称的 ε 未必成立(实现 / 会计 bug 悄悄掏空保证) | DP 审计 | 审计只给下界不给上界、松下界 ≠ 实现对、黑盒常松于白盒、每版要用够强攻击重审 |
| 行使被遗忘权 / 删除,但模型还记得 / 怎么证明删了 | 机器遗忘 · 遗忘可验证性 | 输出抑制 ≠ 真删、模型级遗忘无法验证且可伪造证明、MIA 没检出 ≠ 真忘 |
| 跑了遗忘算法,但不知忘得干不干净 / 怎么打分 | 遗忘基准与评测 | 过基准 ≠ 真忘、多数方法过不了效用 × 泄露联合关、覆盖外是盲区、指标可被 gaming(⚠️ MUSE 预印本) |
| 向量库 / 检索泄露 :向量反演、跨租户串味 | RAG 检索泄露 · 嵌入反演 | 向量化 ≠ 匿名(嵌入可反演回原文乃至逐字)、检索后过滤留窗口、缓存 / memory 边界 bug |
| 多用户共享记忆 / 缓存 / 会话,A 的数据串给 B | 跨会话记忆串味 | 隔离靠系统非模型、竞态难穷尽测、持久 memory 放大窗口、第三方缓存审计不到底 |
| 产品记忆功能按设计跨会话留了什么、我删得掉吗 | 持久记忆的隐私与留存 | 关开关 ≠ 已存的被删、删除要逐处扇出、法律保全令可冻结删除、后端副本审计不到底 |
| Agent 被注入后经工具把私有上下文外发 | Agent 工具外联外泄 | 指令式防御不可靠、allowlist / 人确认可被绕、多工具组合放大、注入鲁棒防御未解 |
| 接上 MCP server 后我的哪些上下文被交出去、谁过度采集 | MCP 数据流与最小采集 | 「只连官方 server 就安全」错、同意非一次性、最小采集管不到交出去之后、凭据集中放大爆炸半径 |
| 多个 agent 协作时私有数据沿内部信道(agent 间消息 / 共享记忆)流动 | 多智能体内部信道泄露 | 只审对外输出漏掉大半、越强模型可能越漏、内部信道也要脱敏(数字均 ⚠️ 预 印本 / workshop) |
| computer-use agent 截屏把整屏(含无关 / 敏感 / 他人数据)看进模型 | Computer-use 屏幕捕获隐私 | 截的是整屏非任务块、清场 / 隔离 VM / 人接管才是边界、投屏泄露第三方、注入面另算 |
| 云厂商 / 同租户看到 prompt 或权重 | 机密推理 · TEE · HE·MPC | 不验证明 = 没用、信任根仍是芯片厂商 + 侧信道、密码学路线太贵 |
| 以为端侧推理(prompt 不出设备)就零外传 | 端侧推理隐私 | 「端侧」≠ 零外传、回落云那部分要走机密推理验证、信任边界只是转移到本机、端侧模型能力代价 |
| 服务方留存 / 训练 / 转手你发出的数据 | 推理服务数据边界 | 「不训练」≠「不保留」、条款按端点 / 功能而异、法律令可推翻删除 |
| 设备数据被集中、或共享梯度 / 更新泄露训练数据 | 生产级 DP·FL · 梯度泄露 · 安全聚合 | FL ≠ 私有(梯度可反演)、安全聚合防单点不防聚合和 / 串通、DP 有 ε 代价、经验手段非形式保证 |
| 系统提示词 / 会话上下文 / 工具结果被套出 | 上下文面隐私 | 指令式「别复述」≠ 隔离、提取检测是猫鼠游戏、边界须落在后端鉴权 / 密钥管理 / 按权限检索 |
| 推理模型的推理链 / 思维里带出敏感数据(思考越多、漏越多) | 推理链泄露 | 「思考是内部的所以安全」错、答案端脱敏 ≠ 思考端、加算力反而漏更多、占位符指令服从率不到 1% |
| 把真实记录当 few-shot 示例塞进 prompt,被抽取 / 对示例集成员推断 | DP 上下文学习 | DP-ICL 只保护示例不保护 query、ε 不为零、聚合外旁路照漏、效用代价 |
| 私有 PII 被模型在对话里复现 | PII 回吐 | 脱敏减不根除(NER 漏检)、去标识 ≠ 去关联、输出过滤是猫鼠 |
| 模型本身被查询复刻 / 部分参数被套出 | 模型抽取与窃取 | 防护是抬成本非消除、窃取放大离线 MIA / 抽取、限输出损可用性 |
| 删了主库,副本仍残留在备份 / 日志 / 向量库 / 派生模型 | 数据生命周期与删除传播 | 传播只覆盖已知副本、备份过期窗口内仍在、派生模型那份要机器遗忘 |
| 想在发布前量出「我记住了多少」 | 量化记忆与审计 | canary 是代理非全量、高暴露度 ≠ 必可抽取、记忆随规模涨需每版重测 |
| 不偷某条、而是套出训练集的群体构成(多少比例女性…) | 属性 / 分布推断 | 压不到零(统计现实)、DP 靶心是个体不覆盖分布、白盒信号最强 |
| 往训练集掺毒放大对他人的隐私泄露 | 隐私定向投毒 | 数据完整性 = 隐私问题、不可信数据源是放大器、去重 / DP 可削 |
| 加密了,但响应时序 / 长度 / 缓存泄露你聊了什么 | 推理期侧信道 | 边界要算到部署 / 网络 / 缓存层、填充 / 隔离缓存可缓、攻防在动 |
| 把模型拆开、原始数据留本地,以为就不泄露 | 拆分学习泄露 | 中间激活可反演回输入、恶意服务器能主动劫持特征空间、留本地 ≠ 私有 |
| 只共享聚合统计 / 最频繁项(而非原始数据),以为聚合即安全 | 联邦分析 | 聚合 ≠ 匿名(heavy hitters 仍要叠 DP)、多轮查询累积泄露、ε 要逐查询记账 |
| 把微调数据交给托管「微调即服务」,怕被留存 / 抽出 | 微调即服务隐私 | 「不训练基础模型」≠「不留你的调优数据」、条款按厂商 / 端点而异、能否抽出微调数据这 一角度证据尚薄(存疑) |
| 用合成数据替代真实数据发布 / 训练,以为就匿名 | 合成数据隐私 | 无 DP 的合成不构成匿名、相似度评估假阴性、离群记录仍可成员推断、DP 有效用代价 |
| 想给生成内容溯源 / 查「我的数据被训了吗」 | LLM 水印与溯源 | 改写 / 翻译可抹除输出水印、低熵短文难标、陷阱法需足够长 × 重复够多才检得出 |
| 想在发布前量出 Agent 被注入后的外泄风险 | Agent 隐私评测(AgentDojo) | 基准是代理非穷尽、过基准 ≠ 真安全、注入鲁棒防御未解、新攻击持续出现 |
怎么用这张图
先按「威胁」定位你当下最担心的泄露面,进对应条目读机制 + 落地配方 + 最小可测试断言;再顺着条目末尾的「与相邻技术的区别」横向跳,把整条防线连起来。每条都点破了对 应的假安全——别只看「用了什么」,要看「它没解决什么」。