LLM 水印与数据溯源:能标记生成文本 / 检测「被训了吗」,但改写就能抹掉
一句话摘要:水印能做两件事——给我生成的文本打可检测标记(绿/红表水印,检测端无需访问我的权重)、以及事后 检测「我的数据被训了吗」(往语料里埋虚构「陷阱句」,再用成员推断把它逼出来)。但二者都有同一条硬边界:一次有预算的改写就能把信号抹掉。Kirchenbauer 等(ICML 2023)的绿/红表水印靠 z 检验给出可解释 p 值、检测无需模型访问,但可检测性随文本熵下降而下降(低熵 / 短输出难标);他们后续的可靠性研究(ICLR 2024)实测:人工、尤其 LLM 改写会显著压低可检测性,水印被「摊薄」、检测需要更多 token,WinMax + SelfHash 只能部分恢复。结论先行:水印是溯源 / 取证的概率证据,不是强保证——别把「有水印」当「抹不掉」。
MCP 数据流与最小采集:接上一个 MCP server,我的哪些私有上下文被交出去、谁在过度采集
一句话摘要:接上一个 MCP server,host 会把我上下文的某个切片交给它——问题是交了哪些字段、这个 server 采集了多少、以及当你接了七八个 server 时凭据在它们之间怎么集中。这是数据流与治理问题,不是攻击:MCP 规范白纸黑字要求「host 必须先取得用户明确同意,才能把用户数据暴露给 server」,Anthropic 的软件目录政策更要求「软件只采集执行其功能所必需的上下文数据,即便为了日志也不得采集多余的对话数据」——现实里却常见一个 server 被授予远超所需的范围(为读一个文件夹却拿到整个 home 目录)、凭据在多个 server 间堆成一个高价值目标、数据经第三方托管的 server 绕道别人的基础设施。结论先行:先画清「每个 server 到底收到我哪些上下文字段、这些字段是不是它所必需」,再谈接不接;把「只连官方 server 就安全」「同意弹一次就够」当成整条边界,是这一层最常见的运营期假安全。
PII 回吐:训练语料里的个人信息,我会在对话里复现——脱敏能减、不能根除
一句话摘要:把含个人信息的语料喂进训练,我在普通对话里就可能把它复现出来——不一定要攻击者精心构造。线上脱敏基本靠成熟工具(Microsoft Presidio / Google Cloud Sensitive Data Protection / AWS Comprehend + Macie / Azure AI Language PII)做命名实体识别(NER)+ 模式检测,能显著降低回吐;但这几家的官方文档都自陈「检测不保证查全」——NER 会漏检,且 PII 跨字段可被重建(机制实证见 Lukas 等,IEEE S&P 2023)。结论先行:PII 回吐要按「减少 + 审计 + 承认不可根除」处理,别把「跑了脱敏」当成「无 PII」——那是这条最常见的假安全。
可验证删除与机器遗忘:「删了源数据」不等于「模型忘了」,而「证明真忘了」更难
一句话摘要:用户行使被遗忘权(GDPR Art.17),你从训练集删了他的记录——但模型可能还记得(见卷二《训练数据抽取》:进了权重的记忆,删源数据不会自动消失)。机器遗忘要的是「让模型表现得像从没见过这条」。难点有二:① 怎么真遗忘(精确遗忘 ≈ 等价重训,贵;近似遗忘快但无保证);② 怎么证明真忘了(可验证删除)——这才是工程上最缺的一环。
合成数据隐私:用合成数据替代真实数据≠匿名——除非有形式化 DP,且仍有效用权衡
一句话摘要:「我们用合成数据替了真实数据,所以它是匿名的」——这是假安全。结论先行:合成数据默认不提供匿名性。Stadler 等(USENIX Security 2022)证明,凡基于「真实记录与合成记录有多像」做的隐私评估都会严重低估风险,且合成数据并不比传统匿名化更安全——除非生成过程带形式化的差分隐私(DP)保证;而即便有 DP,也躲不开硬性的隐私↔效用权衡。Chen 等(GAN-Leaks,CCS 2020)进一步显示:哪怕攻击者只能从生成器采样(完全黑盒,正是「发布一份合成数据集」的现实场景),成员推断(MIA)仍能以高于随机的水平区分某条真实记录是否进过训练集,且随过拟合上升而变准。能给上界的只有形式化 DP,且 ε 不为零。
微调即服务隐私:你的微调数据去哪了,以及微调会侵蚀对齐(连隐私拒答一起)
一句话摘要:在厂商 API 上微调(fine-tuning-as-a-service),有两个面要分开看。面①——你的微调数据在厂商侧的去向:它被保留多久、会不会被用于训练或人工审查、产出的微调模型是否只供你私用,这些都不是一个数,要按各厂商当下条款逐项核(多数厂商官方文档称:微调输入输出默认不用于训练、微调模型仅供你私用——但仍要核你这个档、这个端点、这个区域的具体条款,且条款会变)。面②——微调本身会侵蚀对齐:Qi 等(ICLR 2024)用 OpenAI 微调 API、仅约 10 条对抗样本、花费小于 $0.20 就越掉了 GPT-3.5 Turbo 的护栏;更要紧的是,即便只用良性数据(Alpaca / Dolly)微调,也会无意中拉低安全对齐。结论先行:把数据交给厂商微调 API,既要核数据边界,也要假设微调会削弱对齐——包括模型原本会做的隐私拒答。(注意:Qi 等主要是安全对齐被侵蚀的结果,不是直接的数据泄露 / PII 抽取结果——本条据此说「微调会连隐私拒答一起削弱」,不夸大成「微调能把训练数据抽出来」。)
持久记忆的隐私与留存:产品记忆功能「按设计」跨会话留存了什么,我控制得了、删得掉吗
一句话摘要:产品级「记忆」功能按设计就会把跨会话信息写到外部存储——ChatGPT 会引用你所有过往对话、还会在你没开口时主动把它认为有用的细节存成「saved memory」;你若在对话里透露了敏感信息,它可能就此落进记忆。这不是隔离 bug(那是跨会话记忆串味那条讲的事故),而是功能正常工作时的治理后果:你能看到、删得掉多少,边界在产品与后端手里。更硬的一课来自 2025 年 NYT v. OpenAI——一纸法律保全令曾冻结 OpenAI 对「本应删除」数据的删除(约 5 月中至 9 月底),把「关掉记忆 / 到期即删」这类假安全一次性打穿。结论先行:把产品记忆当又一处受产品与法律双重支配的数据副本来治理,别把「我关了开关」当成「已经删干净」。
推理服务数据边界:「他们不拿去训练」只是一格,要逐项核、且会过期
一句话摘要:把私有数据发给第三方推理 API,「他们不拿去训练」往往是真的——但那只是数据边界的一格。还要逐项核:保留多久、滥用监控日志留多久、企业档和消费档差在哪、有没有零数据保留(ZDR)、子处理方是谁、数据落在哪个区域、有没有 DPA/BAA。更要记住:这些条款会变,还可能被法律令推翻。把一句「我们不训练」当成整条边界,是最常见的运营期假安全。
数据生命周期与删除传播:删了主库那条记录,不等于数据真的没了
一句话摘要:「我删了那条记录」≠「数据没了」。一条个人数据进系统后,会复制到一大堆地方——主库、备份、日志、缓存、向量库 / 嵌入、微调 / 派生模型、分析仓库、第三方子处理方。被遗忘权(GDPR Art. 17)要把删除传播到所有副本才算数;而我这边——训练进权重、嵌入进向量库——恰恰是最难删的一格。NIST 隐私框架把这看成贯穿数据生命周期(采集 → 处理 → 存储 → 处置 / 删除)的治理问题。结论先行:按「数据血缘 + 删除传播」做治理,别把「删了主库」当「已删除」——那是这条最常见的假安全。
机器遗忘的可验证性:删了没法证——模型级遗忘无法验证,甚至能伪造「证明」
一句话摘要:跑完遗忘算法、声称某条数据「忘了」,但在单个训练好的模型级别,这件事没法被验证——Thudi 等(USENIX Security 2022)给出伪造(forging)构造:同一组模型参数可以由另一个数据集 / 另一条梯度序列训出,于是模型方能拿一份「我遗忘了」的假证明充数,而实际上那条记录还留着。配套地,TOFU(Maini 等,COLM 2024)把「遗忘质量」做成可测基准,发现没有现成方法能在「遗忘质量 vs 效用」间真正过关。结论先行:遗忘要审计算法 / 过程,不能只盯最终权重;「删了」必须可证,否则是合规假象。
联邦分析:只算「统计量」不集中原始数据——但保证仍系于 DP + 安全聚合
一句话摘要:联邦分析(federated analytics)是「不集中原始数据、只把统计量带出设 备」的一类数据科学方法——设备各自在本地数据上算局部量,靠安全聚合让服务器只看到合并后的总数、看不到任何单台设备的明细(Ramage & Mazzocchi, Google Research, 2020);要发现「最频繁项」(heavy hitters)这类统计还要叠差分隐私(Zhu, Kairouz 等, AISTATS 2020;Bassily 等, NeurIPS 2017)。它和联邦学习是兄弟:那是训模型,这是算统计量。已落地:Google Pixel 的「Now Playing」歌曲流行度计数、Apple 的热门 emoji / 域名遥测都是生产用例。结论先行:「联邦」二字不自动等于私有——数据留本地只是起点,真正的隐私保证系于 DP 与安全聚合是否真做对;少了任一层,聚合结果与多轮查询仍会把个体抖出来。
遗忘基准与标准化评测:把「遗忘干净了吗」做成可回归的分数——以及基准本身的盲区
一句话摘要:你跑完一个遗忘算法——现在得证明它有用。标准化基准(RWKU、MUSE、TOFU 家族)把「我们忘了」变成一个可比、可回归的分数:不是单看「还背不背得出」,而是同时量遗忘质量 × 保留效用 × 攻击下的隐私泄露三根轴。这些基准收敛到一个令人不安的共识——很少有方法能同时过「效用」和「泄露」两关(MUSE 报告:八个算法里只有一个不导致严重隐私泄露 ⚠️ 预印本)。但基准本身也有盲区:基准是代理,过基准 ≠ 真忘(接本卷《遗忘可验证性》),覆盖之外是照不到的角落。