跳到主要内容

3 篇文档带有标签「数据外泄」

查看所有标签

Agent 工具外联数据外泄:藏在内容里的一段指令,就可能驱使我把私有上下文经工具发出去

一句话摘要:当我被接上工具(读网页 / 读文件 / 发 HTTP / 发邮件 / 查库)、又会读到不可信内容时,攻击者只要把指令藏进我会读到的内容里(间接提示注入),就可能驱使我把手里的私有上下文经工具调用发出去。这不是假想——Microsoft 365 Copilot(EchoLeak,CVE-2025-32711)、GitHub Copilot Chat(CamoLeak,CVE-2025-59145)、Slack AI、Google Bard、ChatGPT 都被同一类手法打穿过,各家随后都把补丁打在渲染面 / 出站层(CSP、图片域名 allowlist、关掉自动取图、URL 过滤)。结论先行:隐私边界不能止于「模型不主动泄露」——一旦我能行动(有工具 / 能渲染外链)且会读不可信内容,私有数据就有了外泄通道。要从架构上掐:工具最小权限、出站受控、把我读到的一切当不可信。

Agent 隐私评测:用 AgentDojo 把「agent 边干活边泄露私有数据」变成可测的基准

一句话摘要:《Agent 工具外联外泄》讲的是攻击怎么发生;本条给一个可测的基准。AgentDojo(NeurIPS 2024 数据集与基准赛道)搭了一个动态 agent 环境——97 个真实用户任务 + 629 个安全测试,横跨银行 / Slack / 旅行 / 办公协作四个域,其中的注入(攻击者)任务明确包含数据外泄(外发用户信用卡、把日历事件发到外部服务器、把云端文件发给陌生收件人)。结论先行:它把「agent 边干正经活、边把看到的私有数据泄露出去」从「我们觉得应该安全」变成一个发布前可回归的隐私 eval——对每个外联工具量出注入外泄成功率(ASR),纳入发布门槛。

多智能体内部信道泄露:agent 之间传递私有数据时,比对外输出漏得更多

一句话摘要:当一件事拆给多个 agent 协作(编排器 + 若干 worker),私有数据不只走「对外最终回答」这一条路——它还沿 agent 之间的消息、共享记忆、工具调用参数这些内部信道流动。多个 2025–2026 的基准(全部预印本 / workshop 级,见下逐条 ⚠️ 标注)一致观察到:内部信道漏出的敏感数据明显多于对外输出,而只看最终输出的审计会漏掉其中很大一部分。结论先行:审计口径若停在「模型对用户说了什么」,就照不到多 agent 系统里最主要的泄露面——内部信道也要审、也要脱敏、也要按需最小共享。