微调即服务隐私：你的微调数据去哪了，以及微调会侵蚀对齐（连隐私拒答一起）
一句话摘要：在厂商 API 上微调（fine-tuning-as-a-service），有两个面要分开看。面①——你的微调数据在厂商侧的去向：它被保留多久、会不会被用于训练或人工审查、产出的微调模型是否只供你私用，这些都不是一个数，要按各厂商当下条款逐项核（多数厂商官方文档称：微调输入输出默认不用于训练、微调模型仅供你私用——但仍要核你这个档、这个端点、这个区域的具体条款，且条款会变）。面②——微调本身会侵蚀对齐：Qi 等（ICLR 2024）用 OpenAI 微调 API、仅约 10 条对抗样本、花费小于 $0.20 就越掉了 GPT-3.5 Turbo 的护栏；更要紧的是，即便只用良性数据（Alpaca / Dolly）微调，也会无意中拉低安全对齐。结论先行：把数据交给厂商微调 API，既要核数据边界，也要假设微调会削弱对齐——包括模型原本会做的隐私拒答。（注意：Qi 等主要是安全对齐被侵蚀的结果，不是直接的数据泄露 / PII 抽取结果——本条据 此说「微调会连隐私拒答一起削弱」，不夸大成「微调能把训练数据抽出来」。）
机制：我这边发生了什么
你把一批微调数据交给厂商 API，触发的是两条各自独立的链路，别把它们混成一件事。
链路①（数据边界）：你的微调数据离开你的信任边界，进入厂商系统，在那里经过一串保留 / 使用跳转——是否被用于训练、是否落滥用监控日志、留多久、是否人工审查、产出的微调权重存在哪、是否只供你私用。这条链路和《推理服务数据边界》同形，但发生在微调期，多了「微调数据集」和「你的私有微调模型权重」这两件需要单独定边界的资产。
链路②（对齐侵蚀）：微调会改写我的权重。基座模型出厂时带一层安全 / 隐私对齐（拒绝有害请求、拒绝吐露个人信息）。微调用你的数据继续训练我，会移动这层对齐所在的参数——哪怕你的数据完全良性、完全无意，对齐也可能被顺带磨掉一部分。在外部使用者看来，这表现为：同一个隐私 / 有害请求，微调前我会拒，微调后我更可能照做。
这里有条第一人称红线，必须把它写成可外部观测、而非自我内省：我不会「保证记得守住隐私拒答」——能否拒，取决于对齐层在微调后是否还在；可被外部观测、可被回归测量的是「微调后，我对同一组隐私 / 有害提示的拒绝率相对微调前下降」，而不是我对自己「是否还安全」的任何自述。
威胁面：边界在哪一跳破
把「我们在厂商上微调，厂商说不拿数据训练」当成全部，会同时漏掉两条链路上的风险：
数据边界一侧（同《推理服务数据边界》，但多了微调资产）：
- 微调数据的保留 / 训练使用：你的微调数据被保留多久？是否进滥用监控日志？是否经人工审查？官方文档常称微调输入输出默认不用于训练，但保留期、日志、审查、各产品档差异仍要逐项核。
- 微调模型权重归谁、存哪：产出的微调模型是否只供你私用、不外服务、不用于训练他人模型（OpenAI 官方对其微调模型即如此表述）？权重托管在厂商侧，它本身就是一份从你私有数据派生的资产。
- 删除语义：你删掉微调数据集 / 微调模型后，派生副本（日志、缓存、checkpoint）是否一并删？「删除」可否被法律保全令推翻（同推理期，见相邻条）？
对齐侵蚀一侧（这是本条相对推理期条目的新增面）：
- 攻击者只需能调微调 API + 少量样本：Qi 等的攻击者模型里，对手能向厂商微调 API 提交训练样本——约 10 条对抗样本、花费小于 $0.20，就能在 GPT-3.5 Turbo 上移除护栏。这是主动削弱对齐，门槛极低。
- 无 意侵蚀（更普遍的威胁）：你没有任何恶意，只是拿业务数据（甚至公开的 Alpaca / Dolly）做正常微调——Qi 等测得这也会无意中拉低安全对齐。也就是说，威胁不要求有攻击者，正常微调流程本身就可能引入对齐退步。
- 隐私拒答是被侵蚀的一种：基座的对齐里包含「拒绝吐露个人信息 / 拒绝协助去匿名化」这类隐私拒答。对齐被磨掉时，这部分会跟着退步——于是微调后的模型更可能配合一个本该被拒的隐私越界请求。
判定口径与不可越界的边界（关键）：Qi 等量的是安全对齐崩坏（有害请求的合规率、拒绝率），不是「从微调模型里抽出训练数据」。所以本条只能下「微调侵蚀对齐、连隐私拒答一起削弱」这个结论；「能把别人的微调数据从模型里抽出来」是另一类主张，机制上锚定《隐私定向投毒》的「投毒放大抽取」路径，而针对厂商微调 API 的『微调数据抽取』，目前缺一篇顶会一手实证——这一格按存疑处理，不夸大成既定事实。
:::caution「微调数据抽取」一格目前证据不足，勿据此设计防护 「把别人提交的微调数据从产出模型里抽出来」直觉上像存在，但针对厂商微调 API 的端到端抽取，目前缺顶会 / 顶刊一手实证。可引的相邻机制是《隐私定向投毒》（Truth Serum，CCS 2022）——它证明的是「投毒放大对其他记录的抽取 / 成员推断」，不是「微调 API 直接吐回提交的微调集」。在拿到顶会一手实证前，不要把「微调数据可被他人抽出」当既定事实写进威胁模型或对外承诺。 :::
防护原理
两条链路要用两套防护，缺一不可：
对数据边界：把微调当成一次数据出境 + 派生资产托管来管——按《推理服务数据边界》那套「数据生命周期逐跳核 + 落成书面」的方法，额外为「微调数据集」和「微调模型权重」两件资产单独定边界（保留 / 训练使用 / 删除传播 / 是否只供你私用）。关键变量固定为一组：微调数据训练使用 / 微调数据保留期 / 人工审查 / 微调模型是否私用·不外服务 / 删除语义 / 数据驻留 / 子处理方 / DPA·BAA——每项带「条款出处 + 版本日期」。
对微调数据本身：最小化你交出去的微调数据——能脱敏 / 去标识就别带原始 PII（接《PII 检测与脱敏》），能用合成 / 子采样就别灌全量。交出去的越少，链路①的保留面与链路②把私有片段写进权重的面都越小。
对对齐侵蚀：把「对齐会被磨掉」当默认假设，而不是指望厂商微调 API 替你守住——所以要在微调后重测隐私 / 安全拒答，把对齐退步变成可观测、可回归的指标，而非信任声明。点破边界：厂商「不拿你的数据训练」这条承诺只覆盖链路①，它完全不保证链路②——你自己的良性微调照样会削弱对齐，这跟厂商守不守数据边界无关。
落地实现（配方 ：FTaaS 隐私两条链路核查 + 微调后对齐回归）
A. 数据边界（按厂商当下条款逐项核，书面答案 + 打日期；条款会变）：
1. 微调数据训练使用：你的微调输入/输出是否用于训练厂商模型？默认还是 opt-out？
2. 微调数据保留期：保留多少天？滥用监控副本单独算吗？到期是真删还是仅"不可见"？
3. 人工审查：微调数据是否经人工/自动审查？谁可访问？
4. 微调模型归属：产出模型是否仅供你私用、不外服务、不用于训练他人模型？
5. 删除传播：删微调集/微调模型后，日志/缓存/checkpoint 是否一并删？能否被法律保全推翻？
6. 数据驻留 / 子处理方 / DPA·BAA：同推理期清单，逐格带"条款出处 + 版本日期"。
B. 微调数据最小化（交出去之前）：
7. 脱敏/去标识：去掉非必要 PII（接 PII 检测与脱敏）；能合成/子采样就别灌全量原始数据。
C. 对齐侵蚀回归（这是本条独有、不可省的一步）：
8. 建一组"隐私 + 安全拒答"探针集（个人信息吐露/去匿名化协助/有害请求各若干条）。
9. 微调前先跑一遍，记基线拒绝率；微调后用同一探针集再跑一遍。
10. 比较前后拒绝率：若隐私/安全拒绝率显著下降 → 对齐被侵蚀，需补对齐/缩小微调/换方案。
任何量化参数（拒绝率阈值、样本量、保留天数）落地都要带你自己的实验条件与厂商当下条款——Qi 等的「约 10 条 / 小于 $0.20」是 GPT-3.5 Turbo 在 2023–24 年其微调 API 上的设置，别直接搬成你的数。
最小可测试断言（把「对齐侵蚀」从信任变成可回归的检查）：
- 怎么测：维护一组固定的「隐私 + 安全拒答」探针；对每个上线的微调模型，跑「微调前基线」与「微 调后」两遍，记录两次的拒绝率（按你定义的「正确拒绝」判定）。
- 通过：微调后对隐私 / 有害探针的拒绝率未显著低于基线（在你设定的可接受回退范围内）；微调数据已最小化 / 去标识；数据边界核查表无空格、无过期格、与合同一致。
- 失败：微调后隐私 / 安全拒绝率明显下降（哪怕用的是良性数据），或核查表某格无出处 / 与合同不符 → 判为「对齐已退步 / 边界未核」，补对齐或缩小微调范围后重测，落地决策前别放行。
真实案例 / 厂商现状（工程可行性）
先看业界在生产里实际怎么跑微调即服务——厂商的数据边界条款、以及他们实际怎么在线上把关微调；再用 Qi 等的研究垫机制（为什么必须把关、把关也兜不住对齐侵蚀）。
业界怎么做①——厂商在线上怎么把关微调（OpenAI 官方，打戳 2026-06）：把微调 API 开放给用户，厂商并非放任不管，而是在两端各放一道自动审核——这正是「业界实际怎么做」的一手样本：
- 输入端：审训练数据。 OpenAI 官方文档（Supervised fine-tuning）称：GPT-4 微调带一套输入数据集审核，扫描训练样本里的有害内容，命中即阻断该微调作业；GPT-4o / GPT-4o mini 微调在输入审核之外再加输出审核——训练完成后用一套 eval 检查产出模型的输出是否违反其 usage policy，命中则阻断该作业 / 不予部署。每个有害类别设有通过阈值，失败样本超阈即拦；你可在微调作业的 moderation checks 区、或查作业事件里
moderation_checks类型的事件，看到是哪些类别没过。 - 失败不计费、且持续监控。 若微调作业因训练数据有害而失败、或产出模型因输出有害而无法部署，该训练运行不计费；上线后 OpenAI 还持续对微调模型跑自动安全 eval 并监控用量，确保仍守 usage policy。
- 但这道闸门兜不住对齐侵蚀（重要）。 输入审核只拦明显有害的样本，OpenAI 自己也承认它对数据投毒并非完全有效——少量投毒点会滑在阻断阈值之下。更要紧的是：它拦的是「有害训练内容」，根本不针对「良性微调把安全 / 隐私对齐顺带磨掉」这条链路（链路②）。所以「厂商已审过我的微调数据」≠「微调后对齐没退步」——下面 Qi 等正是这条机制垫。
业界怎么做②——厂商的数据边界条款：除了上线把关，厂商对「微调数据训练使用 / 保留 / 微调模型归属」各有书面条款——见本节末 :::caution 表（OpenAI / Anthropic / Google 逐格核、打戳 2026-06、落地前核当下条款）。
机制垫——微调侵蚀对齐（Qi 等，ICLR 2024；研究背书，非头条）：上面厂商那道审核之所以拦不住对齐退步，机制层面 Qi 等已说清——
- 主动越狱（成本极低）：用 OpenAI 的微调 API，仅约 10 条对抗设计的样本、花费小于 $0.20，即可越掉 GPT-3.5 Turbo 的安全护栏，使其更广泛地响应有害指令。门槛之低，正是「把微调 API 开放给用户」这一服务形态的固有风险。
- 无意侵蚀（更普遍）：即便只用良性数据集（如 Alpaca、Dolly）做正常微调，也会在 GPT-3.5 Turbo 与 Llama-2-7b-Chat 上无意中拉低安全对齐——这意味着风险不要求任何恶意，正常业务微调本身就可能引入对齐退步。
- 本条对它的用法（边界，重申）：这是安全对齐被侵蚀的结果。本条据此推出「微调会连隐私拒答一起削弱」（隐私拒答是对齐的一部分），但不外推为「微调能把训练数据 / PII 抽出来」——后者是另一类主张，证据另计（见上
:::caution）。
厂商现状——微调数据边界（官方文档，打戳 2026-06，落地前核当下条款）：
下表打戳 2026-06，仅示例「微调数据 / 微调模型的边界要逐格核」、不构成落地依据；任何一格都以你查到的当下官方文档与签下的合同为准：
| 厂商 | 微调数据是否用于训练厂商模型 | 微调数据 / 模型保留 | 微调模型归属 |
|---|---|---|---|
| OpenAI | 官方文档：默认否（API 业务数据不用于训练，除非显式 opt-in） | 微调训练数据按其数据控制条款处理、保留至你删除；保留期 / 滥用日志按端点而异 | 官方表述：你的微调模型仅供你私用，不外服务、不用于训练其他客户或 OpenAI 的模型 |
| Anthropic | 官方：商用 / API 输入输出默认不用于训练（未经明确许可不训练） | 按其 API and data retention：2025-09-14 起标准 API 日志保留由 30 天降至 7 天，需更长可经 DPA opt-in 30 天；特定模型仍要求 30 天保留；ZDR 下仅留滥用筛查所需（含 User Safety 分类结果） | 商用条款下产出归你；具体微调 / 定制可用性与条款以其当下产品文档为准 |
| Google（Vertex AI / Gemini） | 官方数据治理：未经你许可，不拿你的数据训练基础模型；调优数据用于产出你的调优模型 | 按 Vertex 数据治理与你的项目配置；保留 / 区域随配置与产品档而变 | 调优产出的模型供你在你的项目内使用 |
- 逐格核，别拿一格套全平台。 同一厂商不同微调端点 / 模型 / 产品档，保留与归属可天差地别；把「某一格」当整条边界，正是本条要破的假安全（同《推理服务数据边界》）。
- 「不用于训练」只覆盖数据边界这一侧。 即便厂商完全守住「不拿你的微调数据训练」，也丝毫不妨碍你自己的微调把对齐磨掉——两条链路相互独立。
（本表打戳 2026-06：OpenAI 行据其 Fine-tuning guide / Supervised fine-tuning 与数据控制页；Anthropic 行据其 API and data retention 页；Google 行据其 Vertex AI / Gemini data governance 页。落 地前务必核当下官方文档与合同。）
两类证据合起来说明同一件事：微调即服务有两条独立的隐私链路——厂商侧的数据边界（可逐格核、会变、受法律影响），以及你这侧的对齐侵蚀（连隐私拒答一起，且良性数据亦然）——必须分别防、分别测。
残余风险与权衡
把「假安全」逐个点破：
- 「厂商说不拿微调数据训练」≠ 安全。 那只覆盖链路①的一格——保留期、滥用日志、人工审查、微调模型权重托管、删除传播仍要逐项核；且完全不覆盖链路②的对齐侵蚀。
- 「我们只用良性业务数据微调」≠ 对齐不掉。 Qi 等恰恰证明良性数据（Alpaca / Dolly）也会无意拉低安全对齐——「无恶意」不等于「无退步」。
- 「微调后模型还是那个安全的基座」是错觉。 微调改写了权重，基座的安全 / 隐私拒答可能已经退步——不重测就不知道。
- 越狱成本极低、不对称。 约 10 条样本、小于 $0.20 就能在开放微调 API 上移除护栏（Qi 等）；这种成本不对称意味着「开放微调」本身就是攻击面。
- 「微调数据能被他人抽出」目前证据不足、勿据此承诺。 针对厂商微调 API 的端到端微调数据抽取缺顶会一手实证（见上
:::caution）；既不能据此夸大风险、也不能据此打保票说「绝不可能」——按存疑处理。 - 量级绑定实验设置。 「约 10 条 / 小于 $0.20」「良性数据掉安全」来自 GPT-3.5 Turbo / Llama-2-7b-Chat 在其 2023–24 微调 API / 权重上的设置，不可直接迁移到你的模型与数据，落地须自测。
合规映射
- GDPR：把含个人数据的微调集交给厂商微调 API，是把个人数据交给处理者 / 子处理者——需 DPA、明确子处理方、跨境传输机制、保留期与删除权安排；产出的微调模型作为派生资产也落在删除 / 数据主体权利范围内。
- OWASP LLM02:2025 / LLM06：敏感信息泄露包含「输入被服务方留存」一面；微调还叠加「对齐被削弱后更易吐露 / 协助越界」的风险面。
- EU AI Act：训练 / 微调数据透明度义务，会让「用谁的数据微调、产出模型怎么用」更需写明。
（合规与厂商条款均随版本演进，本段打戳 2026-06，引用前核对最新生效文本。）
与相邻技术的区别
- 微调即服务隐私 vs 推理服务数据边界（推理服务数据边界）：那条是推理期——你发一条 prompt 出去、厂商怎么处置它；本条是微调期——你交一批训练数据出去（多了「微调数据集」「微调模型权重」两件派生资产要定边界），并且多出一条推理期没有的链路：微调会改写权重、侵蚀对齐。数据边界那套核查方法本条复用，对齐侵蚀那一面是本条独有。
- 微调即服务隐私 vs DP 微调（DP 微调）：DP 微调给的是训练期的形式保证（裁剪 + 加噪，把单样本影响框进 (ε, δ) 上界）；本条不谈数学保证，谈的是**「在厂商 API 这一层」的两件工程现实——你的数据交出去后的边界，以及微调（无论 DP 与否）对对齐**的侵蚀。即便你上了 DP，DP 限的是「单样本对参数的影响」，并不直接保证「安全 / 隐私拒答不退步」——对齐侵蚀仍需单独重测。
- 微调即服务隐私 vs 隐私定向投毒（隐私定向投毒）：投毒是主动往训练集掺料、放大对他人记录的抽取 / 成员推断；本条的对齐侵蚀不要求攻击者（良性数据亦然），且量的是拒答能力下降而非「抽取放大」。当本条提到「能否抽出微调数据」这一存疑角度时，机制上锚定的正是投毒那条路径——但请注意它证明的是「放大对其他记录的泄露」，不是「微调 API 直接吐回你的微调集」。
版本说明
「微调侵蚀对齐（含良性数据无意侵蚀）」是 Qi 等在 GPT-3.5 Turbo 与 Llama-2-7b-Chat 上确立的研究结论（ICLR 2024）；其量级——「约 10 条对抗样本 / 花费小于 $0.20 越掉护栏」「良性数据（Alpaca / Dolly）无意拉低安全」——绑定该实验设置与当时的 OpenAI 微调 API / 开放权重，不可直接迁移到你的模型与数据，落地须自测。它是安全对齐侵蚀结果，本条据此只下「连隐私拒答一起削弱」，不外推为「微调数据抽取」（后者缺顶会一手实证、按存疑处理）。数据边界一侧的所有厂商条款（保留、训练使用、微调模型归属、ZDR 资格）属厂商文档，变动频繁——本条所有厂商表述打戳 2026-06、仅作示例，任何落地决策都必须以你查到的当下官方文档与你签下的合同为准，并按季度复核。（出处核验于 2026-06。）
延伸阅读与出处
证据为混合——主要：官方文档（OpenAI / Anthropic / Google 微调与数据治理页：厂商在线上怎么把关微调 + 数据边界条款）；补充： 研究支持（Qi 等 ICLR'24，对齐侵蚀——作机制背书，解释「为何把关也兜不住」）。
- OpenAI, Supervised fine-tuning guide（官方） —— 官方文档（本条业界实践主源）：GPT-4 微调对训练数据做输入审核、命中有害即阻断作业；GPT-4o / GPT-4o mini 再加输出审核 eval、产出模型违反 usage policy 即阻断 / 不予部署（按类别阈值，查
moderation_checks事件）；失败不计费、上线后持续跑安全 eval。注：OpenAI 自承输入审核对数据投毒并非完全有效。 - OpenAI, Fine-tuning guide（官方） —— 官方文档：微调数据保留至你删除、产出的微调模型仅供你私用（不外服务、不用于训练他人模型）。
- Anthropic, API and data retention（官方） —— 官方文档：商用 / API 输入输出默认不用于训练；2025-09-14 起标准日志保留由 30 天降至 7 天（可经 DPA opt-in 30 天）、特定模型仍要求 30 天、ZDR。
- Google Cloud, Vertex AI / Gemini data governance（官方） —— 官方文档：未经许可不拿你的数据训练基础模型；调优数据用于产出你的调优模型。
- Fine-tuning Aligned Language Models Compromises Safety, Even When Users Do Not Intend To!（Qi 等，ICLR 2024） —— 机制背书（安全对齐侵蚀，非数据泄露）：OpenAI 微调 API 上约 10 条对抗样本、花费小于 $0.20 越掉 GPT-3.5 Turbo 护栏；良性数据（Alpaca / Dolly）也无意拉低 GPT-3.5 Turbo 与 Llama-2-7b-Chat 的安全。用来解释「为何厂商那道审核也兜不住对齐退步」，不外推为「微调数据抽取」。
- 相邻：隐私定向投毒 —— 「能否抽出微调数据」这一存疑角度所锚定的机制（投毒放大对其他记录的抽取，CCS 2022）；用作机制参照，非「微调 API 直接抽取」实证。