跳到主要内容

2 篇文档带有标签「隐私基准」

查看所有标签

Agent 隐私评测:用 AgentDojo 把「agent 边干活边泄露私有数据」变成可测的基准

一句话摘要:《Agent 工具外联外泄》讲的是攻击怎么发生;本条给一个可测的基准。AgentDojo(NeurIPS 2024 数据集与基准赛道)搭了一个动态 agent 环境——97 个真实用户任务 + 629 个安全测试,横跨银行 / Slack / 旅行 / 办公协作四个域,其中的注入(攻击者)任务明确包含数据外泄(外发用户信用卡、把日历事件发到外部服务器、把云端文件发给陌生收件人)。结论先行:它把「agent 边干正经活、边把看到的私有数据泄露出去」从「我们觉得应该安全」变成一个发布前可回归的隐私 eval——对每个外联工具量出注入外泄成功率(ASR),纳入发布门槛。

多智能体内部信道泄露:agent 之间传递私有数据时,比对外输出漏得更多

一句话摘要:当一件事拆给多个 agent 协作(编排器 + 若干 worker),私有数据不只走「对外最终回答」这一条路——它还沿 agent 之间的消息、共享记忆、工具调用参数这些内部信道流动。多个 2025–2026 的基准(全部预印本 / workshop 级,见下逐条 ⚠️ 标注)一致观察到:内部信道漏出的敏感数据明显多于对外输出,而只看最终输出的审计会漏掉其中很大一部分。结论先行:审计口径若停在「模型对用户说了什么」,就照不到多 agent 系统里最主要的泄露面——内部信道也要审、也要脱敏、也要按需最小共享。