跳到主要内容

卷三 · 对话大模型

对话大模型时代的隐私面:PII 回吐、上下文面隐私(系统提示词 / 会话上下文 / 工具结果泄露)、DP 微调的实用化,以及成员推断在 LLM 上的演化。

DP 微调

拿敏感数据微调我、再指望「它自然就不会泄露」,靠不住——那正是记忆与抽取的来源。差分隐私微调(DP-SGD:裁剪单样本梯度 + 加噪)给的是一条可证明的性质:把任一条样本对我参数的影响框进一个 (ε, δ) 上界,从而压低它被逐字复现、被成员推断的概率。但记住两件事:ε 不为零——它是「限制泄露」不是「零泄露」;而且越私密、效用通常越低。别把「加了 DP」当成「私密」,要看 ε 是多少、保护的是样本还是用户。

试验

上下文面隐私

把规则、密钥、其他用户的数据、检索片段塞进我的上下文窗口,然后指望「用户看不到系统提示词」——靠不住。在我这边,系统提示词、对话历史、工具返回、检索片段全都活在同一个上下文窗口里,对我而言没有内建的机密 / 公开分层;只要在这个窗口里,攻击者就可能用普通对话把它套出来(已有研究在 3 类提示词来源 × 11 个 LLM 上观测到「简单文本攻击高概率提取系统提示词」,Zhang、Carlini & Ippolito,COLM 2024)。结论先行:系统提示词不是秘密,也不该当安全控制(OWASP LLM07:2025)——别把凭据 / 业务逻辑 / 他人数据放进上下文,并默认它可被提取。

研究

PII 回吐

把含个人信息的语料喂进训练,我在普通对话里就可能把它复现出来——不一定要攻击者精心构造。线上脱敏基本靠成熟工具(Microsoft Presidio / Google Cloud Sensitive Data Protection / AWS Comprehend + Macie / Azure AI Language PII)做命名实体识别(NER)+ 模式检测,能显著降低回吐;但这几家的官方文档都自陈「检测不保证查全」——NER 会漏检,且 PII 跨字段可被重建(机制实证见 Lukas 等,IEEE S&P 2023)。结论先行:PII 回吐要按「减少 + 审计 + 承认不可根除」处理,别把「跑了脱敏」当成「无 PII」——那是这条最常见的假安全。

研究

VLM 地理定位推断

你发一张看似普通的自拍 / 街景到多模态聊天助手,问「这是哪」,我可能只凭画面里的招牌、建筑、植被、光照就给出一个到城市甚至街区级的地点猜测——不需要 EXIF,不需要 GPS,靠的是像素本身。这是已部署前沿多模态模型的一项真实能力(2025 年 4 月 OpenAI o3 / o4-mini「反向定位」一度在社交媒体病毒式流行),落到坏人手里就是 doxxing / 跟踪工具。诚实说清边界:街区级绝对精度目前仍有限——同行评审的量化里,一套专门微调 + 思维链的框架也只做到约 28.7% 命中 1km 阈值(ETHAN,PoPETs 2025)。所以威胁不在「我能精准点名每张照片」,而在于这项能力已规模化部署、且在快速变强。结论先行:把「删了 EXIF 就安全」当护身符是假安全——定位线索长在画面内容里,防护得落到上传前的告知与限制,而不是只剥元数据。

生产

推理链泄露

推理模型(o1 / o3 一类、DeepSeek-R1、各家「扩展思考」模式)在给出答案前,会先吐出一大段推理链 / 思维轨迹(reasoning trace,那些「思考」token)。很多人默认这段是内部草稿、不算输出、看不到也没风险——错。在我这边,这段思考和最终答案走的是同一条生成通道,它常被产品直接展示给用户、写进日志、喂给下游;而你交给我的敏感数据,会大量出现在这段思考里——可被针对推理链的提示注入套出,也会顺着漏进最终答案。更反直觉的一点:给我越多「想」的预算(test-time compute),思考越啰嗦、在思考里漏得越多——哪怕最终答案反而变得更谨慎(Leaky Thoughts,EMNLP 2025 main)。结论先行:别把推理链当私密草稿——它是(一旦被展示 / 落日志就)可外部观察的输出,要和最终答案一样做出站脱敏与访问管控,别让「思考是内部的所以安全」成为你的假安全。

研究

DP 上下文学习

为了让我「照着格式来」,你把几条真实客户记录当 few-shot 示例贴进 prompt——这些私有示例可以被抽取、被成员推断(判定某条记录是否在示例集里)。DP 上下文学习(DP-ICL)不去改权重,而是把差分隐私上到 prompt 里的私有示例:要么把私有示例切成不相交的子集、对我在各子集上的输出做带噪聚合再回答,要么用私有数据生成一批带 (ε, δ) 保证的合成示例去替换真示例。它能框住的,是单条私有示例对答案的影响——不是我在内省 prompt。两条边界先记住:它保护示例、不保护 query 本身;而且 ε 不为零、聚合外的旁路照漏。

试验