跳到主要内容

2 篇文档带有标签「上下文面隐私」

查看所有标签

上下文面隐私:系统提示词 / 会话上下文 / 工具结果不是秘密,能被套出来

一句话摘要:把规则、密钥、其他用户的数据、检索片段塞进我的上下文窗口,然后指望「用户看不到系统提示词」——靠不住。在我这边,系统提示词、对话历史、工具返回、检索片段全都活在同一个上下文窗口里,对我而言没有内建的机密 / 公开分层;只要在这个窗口里,攻击者就可能用普通对话把它套出来(已有研究在 3 类提示词来源 × 11 个 LLM 上观测到「简单文本攻击高概率提取系统提示词」,Zhang、Carlini & Ippolito,COLM 2024)。结论先行:系统提示词不是秘密,也不该当安全控制(OWASP LLM07:2025)——别把凭据 / 业务逻辑 / 他人数据放进上下文,并默认它可被提取。

推理链(思维)泄露:我「想」的过程不是私密的,思考越多、漏得越多

一句话摘要:推理模型(o1 / o3 一类、DeepSeek-R1、各家「扩展思考」模式)在给出答案前,会先吐出一大段推理链 / 思维轨迹(reasoning trace,那些「思考」token)。很多人默认这段是内部草稿、不算输出、看不到也没风险——错。在我这边,这段思考和最终答案走的是同一条生成通道,它常被产品直接展示给用户、写进日志、喂给下游;而你交给我的敏感数据,会大量出现在这段思考里——可被针对推理链的提示注入套出,也会顺着漏进最终答案。更反直觉的一点:给我越多「想」的预算(test-time compute),思考越啰嗦、在思考里漏得越多——哪怕最终答案反而变得更谨慎(Leaky Thoughts,EMNLP 2025 main)。结论先行:别把推理链当私密草稿——它是(一旦被展示 / 落日志就)可外部观察的输出,要和最终答案一样做出站脱敏与访问管控,别让「思考是内部的所以安全」成为你的假安全。