跳到主要内容

2 篇文档带有标签「多模态」

查看所有标签

多模态地理定位推断:一张看似普通的照片,我就能把你拍摄地点猜出来

一句话摘要:你发一张看似普通的自拍 / 街景到多模态聊天助手,问「这是哪」,我可能只凭画面里的招牌、建筑、植被、光照就给出一个到城市甚至街区级的地点猜测——不需要 EXIF,不需要 GPS,靠的是像素本身。这是已部署前沿多模态模型的一项真实能力(2025 年 4 月 OpenAI o3 / o4-mini「反向定位」一度在社交媒体病毒式流行),落到坏人手里就是 doxxing / 跟踪工具。诚实说清边界:街区级绝对精度目前仍有限——同行评审的量化里,一套专门微调 + 思维链的框架也只做到约 28.7% 命中 1km 阈值(ETHAN,PoPETs 2025)。所以威胁不在「我能精准点名每张照片」,而在于这项能力已规模化部署、且在快速变强。结论先行:把「删了 EXIF 就安全」当护身符是假安全——定位线索长在画面内容里,防护得落到上传前的告知与限制,而不是只剥元数据。

多模态训练图像抽取:扩散 / 视觉模型会逐字吐回训练图,隐私风险延伸到图像

一句话摘要:记忆与抽取不只发生在文字上——图像也会。把私有图(患者影像、内部设计稿、有版权的画作)喂进扩散 / 视觉模型微调,在外部攻击者看来,给对提示,我可能生成与某张训练图近乎逐像素一致的图;这种复现可以靠「拿生成图去比对训练集」测出来,而且主要由训练里被重复的图驱动——高重复的图更容易被吐回来。结论先行:别以为「生成模型只会画新图、不会吐原图」,图像域的记忆是真实的,防法与文本记忆同根(去重 + DP + 相似度审计),但代价换成了「近似复制」而非「逐字复制」。