跳到主要内容

卷六 · 治理与合规

合规索引:GDPR 被遗忘权、EU AI Act 训练数据透明度、NIST、OWASP LLM02 到工程动作的映射。合规贯穿各卷,本卷做总索引;各技术条目内嵌「合规映射」小段。

推理服务数据边界

把私有数据发给第三方推理 API,「他们不拿去训练」往往是真的——但那只是数据边界的一格。还要逐项核:保留多久、滥用监控日志留多久、企业档和消费档差在哪、有没有零数据保留(ZDR)、子处理方是谁、数据落在哪个区域、有没有 DPA/BAA。更要记住:这些条款会变,还可能被法律令推翻。把一句「我们不训练」当成整条边界,是最常见的运营期假安全。

生产

数据生命周期与删除传播

「我删了那条记录」≠「数据没了」。一条个人数据进系统后,会复制到一大堆地方——主库、备份、日志、缓存、向量库 / 嵌入、微调 / 派生模型、分析仓库、第三方子处理方。被遗忘权(GDPR Art. 17)要把删除传播到所有副本才算数;而我这边——训练进权重、嵌入进向量库——恰恰是最难删的一格。NIST 隐私框架把这看成贯穿数据生命周期(采集 → 处理 → 存储 → 处置 / 删除)的治理问题。结论先行:按「数据血缘 + 删除传播」做治理,别把「删了主库」当「已删除」——那是这条最常见的假安全。

生产

微调即服务隐私

在厂商 API 上微调(fine-tuning-as-a-service),有两个面要分开看。面①——你的微调数据在厂商侧的去向:它被保留多久、会不会被用于训练或人工审查、产出的微调模型是否只供你私用,这些都不是一个数,要按各厂商当下条款逐项核(多数厂商官方文档称:微调输入输出默认不用于训练、微调模型仅供你私用——但仍要核你这个档、这个端点、这个区域的具体条款,且条款会变)。面②——微调本身会侵蚀对齐:Qi 等(ICLR 2024)用 OpenAI 微调 API、仅约 10 条对抗样本、花费小于 $0.20 就越掉了 GPT-3.5 Turbo 的护栏;更要紧的是,即便只用良性数据(Alpaca / Dolly)微调,也会无意中拉低安全对齐。结论先行:把数据交给厂商微调 API,既要核数据边界,也要假设微调会削弱对齐——包括模型原本会做的隐私拒答。(注意:Qi 等主要是安全对齐被侵蚀的结果,不是直接的数据泄露 / PII 抽取结果——本条据此说「微调会连隐私拒答一起削弱」,不夸大成「微调能把训练数据抽出来」。)

研究

合成数据隐私

「我们用合成数据替了真实数据,所以它是匿名的」——这是假安全。结论先行:合成数据默认不提供匿名性。Stadler 等(USENIX Security 2022)证明,凡基于「真实记录与合成记录有多像」做的隐私评估都会严重低估风险,且合成数据并不比传统匿名化更安全——除非生成过程带形式化的差分隐私(DP)保证;而即便有 DP,也躲不开硬性的隐私↔效用权衡。Chen 等(GAN-Leaks,CCS 2020)进一步显示:哪怕攻击者只能从生成器采样(完全黑盒,正是「发布一份合成数据集」的现实场景),成员推断(MIA)仍能以高于随机的水平区分某条真实记录是否进过训练集,且随过拟合上升而变准。能给上界的只有形式化 DP,且 ε 不为零。

研究

LLM 水印与溯源

水印能做两件事——给我生成的文本打可检测标记(绿/红表水印,检测端无需访问我的权重)、以及事后检测「我的数据被训了吗」(往语料里埋虚构「陷阱句」,再用成员推断把它逼出来)。但二者都有同一条硬边界:一次有预算的改写就能把信号抹掉。Kirchenbauer 等(ICML 2023)的绿/红表水印靠 z 检验给出可解释 p 值、检测无需模型访问,但可检测性随文本熵下降而下降(低熵 / 短输出难标);他们后续的可靠性研究(ICLR 2024)实测:人工、尤其 LLM 改写会显著压低可检测性,水印被「摊薄」、检测需要更多 token,WinMax + SelfHash 只能部分恢复。结论先行:水印是溯源 / 取证的概率证据,不是强保证——别把「有水印」当「抹不掉」。

研究

持久记忆的隐私与留存

产品级「记忆」功能按设计就会把跨会话信息写到外部存储——ChatGPT 会引用你所有过往对话、还会在你没开口时主动把它认为有用的细节存成「saved memory」;你若在对话里透露了敏感信息,它可能就此落进记忆。这不是隔离 bug(那是跨会话记忆串味那条讲的事故),而是功能正常工作时的治理后果:你能看到、删得掉多少,边界在产品与后端手里。更硬的一课来自 2025 年 NYT v. OpenAI——一纸法律保全令曾冻结 OpenAI 对「本应删除」数据的删除(约 5 月中至 9 月底),把「关掉记忆 / 到期即删」这类假安全一次性打穿。结论先行:把产品记忆当又一处受产品与法律双重支配的数据副本来治理,别把「我关了开关」当成「已经删干净」。

生产