跳到主要内容

隐私地图

侧边栏按(阅读主线)组织。这页给两条查询轴:按技术板块找条目,或按威胁 → 缓解反查「这个泄露面有哪些条目在管、残余风险是什么」。

想更快上手? 四条速用轴:新读者从必读 12 条进;上线前照最小隐私基线过 10 条;想看现实代价读真实事故与实证索引;想理解「为什么会漏」按机制索引的根因读。

关于覆盖

本主题精而深、不追条数(见 PROPOSAL)。14 个技术板块现已各有至少一条落地条目,或以「贯穿各条」方式覆盖——后续按深度补强,不为铺板块而注水。若某天又出现 _规划中_ 标记,那是刻意标出的缺口,免得「看着全」其实有空白(这正是本书反对的一种假安全)。

按技术板块浏览

14 个技术板块是查询轴(边界见 PROPOSAL §6.2)。已落地的条目挂在其主板块下:

威胁 → 缓解矩阵

按「你担心的泄露面」反查:哪些条目在管、它们解决什么。

威胁(你担心什么)在管的条目残余风险 / 没解决的
私有数据被模型记住、逐字吐回训练数据抽取 · 训练数据去重去重 ≠ 消除(罕见单次样本仍记)、DP ≠ 零泄露、输出过滤是猫鼠游戏
生成 / 视觉模型吐回训练图(人脸 / 医学 / 版权,近似复制)多模态训练图像抽取主要由高重复图驱动、去重减不根除、near-copy 也侵权 / 泄隐私、相似度过滤是猫鼠
靠置信度重建训练样本的「样子」/ 推断敏感属性模型反演与属性推断反演给类别代表非逐字原图、属性推断含人群统计压不到零、置信度是燃料
一张普通照片被多模态模型反推出拍摄地点(doxxing)多模态地理定位推断剥 EXIF ≠ 匿名(线索在画面内容里)、街区级绝对精度仍有限但在爬升、对欠发达地区的偏差是运气非保护
判定某人是否在训练集(成员身份本身敏感)成员推断 · DP 微调平均准确率掩盖尾部、降过拟合无形式保证、ε 要看清
发布 LoRA / 适配器 delta,以为「底座公开、delta 小」数据就藏得住LoRA 适配器泄露公开底座是免费参照、delta 浓缩微调指纹(0.775 AUC ⚠️ 预印本)、合并 ≠ 抹除、参数高效 ≠ 隐私
打开了 DP,但声称的 ε 未必成立(实现 / 会计 bug 悄悄掏空保证)DP 审计审计只给下界不给上界、松下界 ≠ 实现对、黑盒常松于白盒、每版要用够强攻击重审
行使被遗忘权 / 删除,但模型还记得 / 怎么证明删了机器遗忘 · 遗忘可验证性输出抑制 ≠ 真删、模型级遗忘无法验证且可伪造证明、MIA 没检出 ≠ 真忘
跑了遗忘算法,但不知忘得干不干净 / 怎么打分遗忘基准与评测过基准 ≠ 真忘、多数方法过不了效用 × 泄露联合关、覆盖外是盲区、指标可被 gaming(⚠️ MUSE 预印本)
向量库 / 检索泄露:向量反演、跨租户串味RAG 检索泄露 · 嵌入反演向量化 ≠ 匿名(嵌入可反演回原文乃至逐字)、检索后过滤留窗口、缓存 / memory 边界 bug
多用户共享记忆 / 缓存 / 会话,A 的数据串给 B跨会话记忆串味隔离靠系统非模型、竞态难穷尽测、持久 memory 放大窗口、第三方缓存审计不到底
产品记忆功能按设计跨会话留了什么、我删得掉吗持久记忆的隐私与留存关开关 ≠ 已存的被删、删除要逐处扇出、法律保全令可冻结删除、后端副本审计不到底
Agent 被注入后经工具把私有上下文外发Agent 工具外联外泄指令式防御不可靠、allowlist / 人确认可被绕、多工具组合放大、注入鲁棒防御未解
接上 MCP server 后我的哪些上下文被交出去、谁过度采集MCP 数据流与最小采集「只连官方 server 就安全」错、同意非一次性、最小采集管不到交出去之后、凭据集中放大爆炸半径
多个 agent 协作时私有数据沿内部信道(agent 间消息 / 共享记忆)流动多智能体内部信道泄露只审对外输出漏掉大半、越强模型可能越漏、内部信道也要脱敏(数字均 ⚠️ 预印本 / workshop)
computer-use agent 截屏把整屏(含无关 / 敏感 / 他人数据)看进模型Computer-use 屏幕捕获隐私截的是整屏非任务块、清场 / 隔离 VM / 人接管才是边界、投屏泄露第三方、注入面另算
云厂商 / 同租户看到 prompt 或权重机密推理 · TEE · HE·MPC不验证明 = 没用、信任根仍是芯片厂商 + 侧信道、密码学路线太贵
以为端侧推理(prompt 不出设备)就零外传端侧推理隐私「端侧」≠ 零外传、回落云那部分要走机密推理验证、信任边界只是转移到本机、端侧模型能力代价
服务方留存 / 训练 / 转手你发出的数据推理服务数据边界「不训练」≠「不保留」、条款按端点 / 功能而异、法律令可推翻删除
设备数据被集中、或共享梯度 / 更新泄露训练数据生产级 DP·FL · 梯度泄露 · 安全聚合FL ≠ 私有(梯度可反演)、安全聚合防单点不防聚合和 / 串通、DP 有 ε 代价、经验手段非形式保证
系统提示词 / 会话上下文 / 工具结果被套出上下文面隐私指令式「别复述」≠ 隔离、提取检测是猫鼠游戏、边界须落在后端鉴权 / 密钥管理 / 按权限检索
推理模型的推理链 / 思维里带出敏感数据(思考越多、漏越多)推理链泄露「思考是内部的所以安全」错、答案端脱敏 ≠ 思考端、加算力反而漏更多、占位符指令服从率不到 1%
真实记录当 few-shot 示例塞进 prompt,被抽取 / 对示例集成员推断DP 上下文学习DP-ICL 只保护示例不保护 query、ε 不为零、聚合外旁路照漏、效用代价
私有 PII 被模型在对话里复现PII 回吐脱敏减不根除(NER 漏检)、去标识 ≠ 去关联、输出过滤是猫鼠
模型本身被查询复刻 / 部分参数被套出模型抽取与窃取防护是抬成本非消除、窃取放大离线 MIA / 抽取、限输出损可用性
删了主库,副本仍残留在备份 / 日志 / 向量库 / 派生模型数据生命周期与删除传播传播只覆盖已知副本、备份过期窗口内仍在、派生模型那份要机器遗忘
想在发布前量出「我记住了多少」量化记忆与审计canary 是代理非全量、高暴露度 ≠ 必可抽取、记忆随规模涨需每版重测
不偷某条、而是套出训练集的群体构成(多少比例女性…)属性 / 分布推断压不到零(统计现实)、DP 靶心是个体不覆盖分布、白盒信号最强
往训练集掺毒放大对他人的隐私泄露隐私定向投毒数据完整性 = 隐私问题、不可信数据源是放大器、去重 / DP 可削
加密了,但响应时序 / 长度 / 缓存泄露你聊了什么推理期侧信道边界要算到部署 / 网络 / 缓存层、填充 / 隔离缓存可缓、攻防在动
把模型拆开、原始数据留本地,以为就不泄露拆分学习泄露中间激活可反演回输入、恶意服务器能主动劫持特征空间、留本地 ≠ 私有
只共享聚合统计 / 最频繁项(而非原始数据),以为聚合即安全联邦分析聚合 ≠ 匿名(heavy hitters 仍要叠 DP)、多轮查询累积泄露、ε 要逐查询记账
微调数据交给托管「微调即服务」,怕被留存 / 抽出微调即服务隐私「不训练基础模型」≠「不留你的调优数据」、条款按厂商 / 端点而异、能否抽出微调数据这一角度证据尚薄(存疑)
合成数据替代真实数据发布 / 训练,以为就匿名合成数据隐私无 DP 的合成不构成匿名、相似度评估假阴性、离群记录仍可成员推断、DP 有效用代价
想给生成内容溯源 / 查「我的数据被训了吗LLM 水印与溯源改写 / 翻译可抹除输出水印、低熵短文难标、陷阱法需足够长 × 重复够多才检得出
想在发布前量出 Agent 被注入后的外泄风险Agent 隐私评测(AgentDojo)基准是代理非穷尽、过基准 ≠ 真安全、注入鲁棒防御未解、新攻击持续出现
怎么用这张图

先按「威胁」定位你当下最担心的泄露面,进对应条目读机制 + 落地配方 + 最小可测试断言;再顺着条目末尾的「与相邻技术的区别」横向跳,把整条防线连起来。每条都点破了对应的假安全——别只看「用了什么」,要看「它没解决什么」。