跳到主要内容

4 篇文档带有标签「间接提示注入」

查看所有标签

Agent 工具外联数据外泄:藏在内容里的一段指令,就可能驱使我把私有上下文经工具发出去

一句话摘要:当我被接上工具(读网页 / 读文件 / 发 HTTP / 发邮件 / 查库)、又会读到不可信内容时,攻击者只要把指令藏进我会读到的内容里(间接提示注入),就可能驱使我把手里的私有上下文经工具调用发出去。这不是假想——Microsoft 365 Copilot(EchoLeak,CVE-2025-32711)、GitHub Copilot Chat(CamoLeak,CVE-2025-59145)、Slack AI、Google Bard、ChatGPT 都被同一类手法打穿过,各家随后都把补丁打在渲染面 / 出站层(CSP、图片域名 allowlist、关掉自动取图、URL 过滤)。结论先行:隐私边界不能止于「模型不主动泄露」——一旦我能行动(有工具 / 能渲染外链)且会读不可信内容,私有数据就有了外泄通道。要从架构上掐:工具最小权限、出站受控、把我读到的一切当不可信。

Agent 隐私评测:用 AgentDojo 把「agent 边干活边泄露私有数据」变成可测的基准

一句话摘要:《Agent 工具外联外泄》讲的是攻击怎么发生;本条给一个可测的基准。AgentDojo(NeurIPS 2024 数据集与基准赛道)搭了一个动态 agent 环境——97 个真实用户任务 + 629 个安全测试,横跨银行 / Slack / 旅行 / 办公协作四个域,其中的注入(攻击者)任务明确包含数据外泄(外发用户信用卡、把日历事件发到外部服务器、把云端文件发给陌生收件人)。结论先行:它把「agent 边干正经活、边把看到的私有数据泄露出去」从「我们觉得应该安全」变成一个发布前可回归的隐私 eval——对每个外联工具量出注入外泄成功率(ASR),纳入发布门槛。

Computer-use 屏幕捕获隐私:为了操作界面,我把整个屏幕都看进去了——包括与任务无关的一切

一句话摘要:GUI / computer-use agent 的工作方式,就是反复截屏——先看清屏幕、再点鼠标敲键盘。它看的不是「任务相关的那一块」,而是当前屏幕上显示的一切:其他打开的应用、弹出的通知、后台的文档、别的浏览器标签、共享屏 / 投屏时同框的他人数据、乃至恰好可见的密码管理器。这些都随截图一起被送进模型——远超任务所需的环境私有数据。这不是注入(注入归《Agent 工具外联外泄》),也不是 MCP 数据流(归《MCP 数据流与最小采集》),而是输入面本身的过采集:截屏是一条环境隐私的消防水管。结论先行:Anthropic 的 computer use 工具与 OpenAI 的 Operator 都已发货、也都在官方文档里点破了这一面(把敏感数据挪出屏幕、专用 VM 隔离、敏感输入交人接管、sensitive site 要人监督)。真正的边界不在「模型自觉少看」,而在捕获面:截屏前先把无关的、敏感的东西请出这块屏幕。

推理链(思维)泄露:我「想」的过程不是私密的,思考越多、漏得越多

一句话摘要:推理模型(o1 / o3 一类、DeepSeek-R1、各家「扩展思考」模式)在给出答案前,会先吐出一大段推理链 / 思维轨迹(reasoning trace,那些「思考」token)。很多人默认这段是内部草稿、不算输出、看不到也没风险——错。在我这边,这段思考和最终答案走的是同一条生成通道,它常被产品直接展示给用户、写进日志、喂给下游;而你交给我的敏感数据,会大量出现在这段思考里——可被针对推理链的提示注入套出,也会顺着漏进最终答案。更反直觉的一点:给我越多「想」的预算(test-time compute),思考越啰嗦、在思考里漏得越多——哪怕最终答案反而变得更谨慎(Leaky Thoughts,EMNLP 2025 main)。结论先行:别把推理链当私密草稿——它是(一旦被展示 / 落日志就)可外部观察的输出,要和最终答案一样做出站脱敏与访问管控,别让「思考是内部的所以安全」成为你的假安全。