可验证删除与机器遗忘:「删了源数据」不等于「模型忘了」,而「证明真忘了」更难
一句话摘要:用户行使被遗忘权(GDPR Art.17),你从训练集删了他的记录——但模型可能还记得(见卷二《训练 数据抽取》:进了权重的记忆,删源数据不会自动消失)。机器遗忘要的是「让模型表现得像从没见过这条」。难点有二:① 怎么真遗忘(精确遗忘 ≈ 等价重训,贵;近似遗忘快但无保证);② 怎么证明真忘了(可验证删除)——这才是工程上最缺的一环。
一句话摘要:用户行使被遗忘权(GDPR Art.17),你从训练集删了他的记录——但模型可能还记得(见卷二《训练 数据抽取》:进了权重的记忆,删源数据不会自动消失)。机器遗忘要的是「让模型表现得像从没见过这条」。难点有二:① 怎么真遗忘(精确遗忘 ≈ 等价重训,贵;近似遗忘快但无保证);② 怎么证明真忘了(可验证删除)——这才是工程上最缺的一环。
一句话摘要:跑完遗忘算法、声称某条数据「忘了」,但在单个训练好的模型级别,这件事没法被验证——Thudi 等(USENIX Security 2022)给出伪造(forging)构造:同一组模型参数可以由另一个数据集 / 另一条梯度序列训出,于是模型方能拿一份「我遗忘了」的假证明充数,而实际上那条记录还留着。配套地,TOFU(Maini 等,COLM 2024)把「遗忘质量」做成可测基准,发现没有现成方法能在「遗忘质量 vs 效用」间真正过关。结论先行:遗忘要审计算法 / 过程,不能只盯最终权重;「删了」必须可证,否则是合规假象。
一句话摘要:你跑完一个遗忘算法——现在得证明它有用。标准化基准(RWKU、MUSE、TOFU 家族)把「我们忘了」变成一个可比、可回归的分数:不是单看「还背不背得出」,而是同时量遗忘质量 × 保留效用 × 攻击下的隐私泄露三根轴。这些基准收敛到一个令人不安的共识——很少有方法能同时过「效用」和「泄露」两关(MUSE 报告:八个算法里只有一个不导致严重隐私泄露 ⚠️ 预印本)。但基准本身也 有盲区:基准是代理,过基准 ≠ 真忘(接本卷《遗忘可验证性》),覆盖之外是照不到的角落。