中国图象图形学报

量化方法	核心思路	评估视角与方法类别	适用阶段	计算消耗
影响函数法（Feldman，2020；Feldman和Zhang，2020）	利用独立训练的影子模型的聚合估计量作为影响得分	审计方、黑盒	预训练	大
梯度方差（Agarwal等，2022）	跟踪梯度方差以捕捉训练期间的记忆行为	审计方、白盒	预训练	中等
几何代理变量（Ravikumar等，2024）	利用模型记忆和训练中的一些变量的几何特征相联系	审计方、白盒	预训练/后训练	中等
图像复制指标（Zhang等，2018）	像素层面/结构层面/语义层面相似性捕获	审计方、黑/白盒	推理阶段	中等
隐私攻击法（Hu等，2022）	利用隐私攻击诱使模型输出隐私数据	攻击方、黑/白盒	推理阶段	大

量化方法	核心思路	评估视角与方法类别	适用阶段	计算消耗
影响函数法（Feldman，2020；Feldman和Zhang，2020）	利用独立训练的影子模型的聚合估计量作为影响得分	审计方、黑盒	预训练	大
梯度方差（Agarwal等，2022）	跟踪梯度方差以捕捉训练期间的记忆行为	审计方、白盒	预训练	中等
几何代理变量（Ravikumar等，2024）	利用模型记忆和训练中的一些变量的几何特征相联系	审计方、白盒	预训练/后训练	中等
图像复制指标（Zhang等，2018）	像素层面/结构层面/语义层面相似性捕获	审计方、黑/白盒	推理阶段	中等
隐私攻击法（Hu等，2022）	利用隐私攻击诱使模型输出隐私数据	攻击方、黑/白盒	推理阶段	大

阶段	方法	数据集	模型	FID	SSCD	CLIP
预训练	DP-LDM （ϵ = 1）（Lyu等，2024）	CelebA	SD v1.4	21.1±0.2	-	-
DP-LDM （ϵ = 10）（Lyu等，2024）	CelebA	SD v1.4	14.3±0.1	-	-
推理	提示词优化（Somepalli等，2023a，b）	LAION	SD v1.4/2.0	-	0.3±0.1	0.28±0.03
注意力缩放（Ren等，2024）	LAION	SD v1.4/2.0	15.0±0.2	0.30	0.22
Token 扰动（Wen等，2024）	LAION	SD v2.1	18.0±1.0	0.5±0.1	-
微调/后训练	神经元检测（Hintersdorf等，2024）	LAION	SD v1.4	16.5±0.5	0.1±0.07	0.31±0.02
ESD（Gandikota等，2023）	LAION	SD v1.4	13.68	-	-
概念消除（Kumari等，2023）	-	SD v1.4	16.99±0.2	0.30	0.60 ± 0.02
SalUn（Fan等，2024）	Imagenette	SD v1.4	1.22	-	-
SISS（Alberti等，2025）	CelebA-HQ	SD v1.4	20.1	0.32	-

阶段	方法	数据集	模型	FID	SSCD	CLIP
预训练	DP-LDM （ϵ = 1）（Lyu等，2024）	CelebA	SD v1.4	21.1±0.2	-	-
DP-LDM （ϵ = 10）（Lyu等，2024）	CelebA	SD v1.4	14.3±0.1	-	-
推理	提示词优化（Somepalli等，2023a，b）	LAION	SD v1.4/2.0	-	0.3±0.1	0.28±0.03
注意力缩放（Ren等，2024）	LAION	SD v1.4/2.0	15.0±0.2	0.30	0.22
Token 扰动（Wen等，2024）	LAION	SD v2.1	18.0±1.0	0.5±0.1	-
微调/后训练	神经元检测（Hintersdorf等，2024）	LAION	SD v1.4	16.5±0.5	0.1±0.07	0.31±0.02
ESD（Gandikota等，2023）	LAION	SD v1.4	13.68	-	-
概念消除（Kumari等，2023）	-	SD v1.4	16.99±0.2	0.30	0.60 ± 0.02
SalUn（Fan等，2024）	Imagenette	SD v1.4	1.22	-	-
SISS（Alberti等，2025）	CelebA-HQ	SD v1.4	20.1	0.32	-

扩散模型中的记忆遗忘机制综述

PDF下载

翁子辉 1^,2 , 张权 3 , 谢晓华 1^,2 , 赖剑煌 1^,2^,^*

中国图象图形学报 | 综述 2026,31(10): 3460-3481

收起

中国图象图形学报 |综述 2026 , 31 (10) : 3460 -3481

扩散模型中的记忆遗忘机制综述

全屏

翁子辉1^,2, 张权3, 谢晓华1^,2, 赖剑煌1^,2^,^*

作者信息

¹　中山大学计算机学院，广州　510006

²　广东省信息安全技术重点实验室（中山大学），广州　510006

³　中山大学系统科学与工程学院，广州　510275

通讯作者:

赖剑煌，通信作者，男，教授，博士生导师，主要研究方向为计算机视觉与模式识别。E-mail：stsljh@mail.sysu.edu.cn

作者简介:

翁子辉，男，硕士研究生，主要研究方向为计算机视觉。E-mail：wengzh7@mail2.sysu.edu.cn

张权，男，博士后，主要研究方向为计算机视觉与模式识别。E-mail：zhangq689@mail.sysu.edu.cn

谢晓华，男，教授，博士生导师，主要研究方向为计算机视觉与模式识别。E-mail：xiexiaoh6@mail.sysu.edu.cn

赖剑煌，通信作者，男，教授，博士生导师，主要研究方向为计算机视觉与模式识别。E-mail：stsljh@mail.sysu.edu.cn

Survey on memorization and forgetting mechanisms in diffusion models

Zihui Weng1^,2, Quan Zhang3, Xiaohua Xie1^,2, Jianhuang Lai1^,2^,^*

Affiliations

¹ School of Computer Science and Engineering，Sun Yat-sen University，Guangzhou 510006，China

² Guangdong Provincial Key Laboratory of Information Security Technology（Sun Yat-sen University），Guangzhou 510006，China

³ School of Systems Science and Engineering，Sun Yat-sen University ，Guangzhou 510275，China

出版时间: 2026-10-16 doi: 10.11834/jig.260095

文章导航

摘要

收起

扩散模型已迅速发展成为生成式视觉模型的主要范式。然而，模型所固有的记忆遗忘机制使得模型不自觉地记忆训练数据集中的敏感信息，进而加剧了图像领域的隐私安全和版权问题。尽管记忆与遗忘机制在语言模型领域已有深入研究，但在扩散模型这一视觉生成任务的核心技术中，仍缺乏系统性的综述。本综述旨在填补这一空白，具体从扩散模型的理论建模和模型架构的介绍，到模型记忆在非时序和时序扩散模型上的定义，对于模型记忆在扩散模型上的理解和对模型记忆在模型审计方和恶意攻击方两方面的量化方法，再到模型遗忘统一框架下差分隐私、提示词优化、模型遗忘的模型记忆缓解方法5个方面进行探讨，最后，本文展望了扩散模型中记忆—遗忘机制的未来发展方向，并重点指出了当前面临的关键挑战，包括隐私数据处理流水线和基准测试亟待规范，更符合扩散模型特性的模型记忆定义和模型遗忘算法，新学习场景的模型记忆—遗忘机制和垂直领域落地。

关键词

扩散模型（DM） / 人工智能安全 / 隐私安全 / 模型记忆 / 模型遗忘

Abstract

收起

Diffusion models have rapidly become the dominant paradigm of generative visual models. However，the memorization-forgetting mechanisms inherent in these models make them unintentionally memorize sensitive information from training datasets，which further aggravates the privacy and copyright issues in the image domain. Although the memorization and forgetting mechanisms have been deeply studied in the field of language models，a systematic review on diffusion models，which are the core technology of visual generation tasks，is still lacking. Our survey aims to bridge this gap，and the existing works are reviewed from five aspects critically. First，we briefly introduce the theoretical modeling and architecture of diffusion models，including the formulations of denoising diffusion probabilistic models，score-based generative models，and flow matching，as well as the architectures of U-Net，DiT，and MMDiT. Such theoretical and architectural foundations not only support the strong generative capability of diffusion models but also provide the necessary preliminaries for understanding why and how memorization arises during the iterative denoising process. On this basis，the definitions of memorization in diffusion models are introduced from non-temporal and temporal perspectives. For non-temporal diffusion models，the memorization can be divided into global memorization and local memorization，where the former focuses on the global similarity between generated and training images，and the latter is concerned with the partial replication of sensitive components such as faces，signatures，and watermarks. For temporal diffusion models，the memorization can be further decomposed into content memorization and motion memorization，given that the leakage in video diffusion models is reflected not only in the static appearance of objects but also in the dynamic motion patterns across frames. Once the manifestations of memorization are formally defined，a natural follow-up question is what factors cause such memorization behaviors and how they can be theoretically interpreted. Accordingly，the understanding of memorization in diffusion models is then discussed from the perspectives of model factor，data factor，and theoretical view. The model factor is focused on the influence of over-parameterization and architectural components such as the cross-attention modules，while the data factor reveals that the long-tailed distribution and duplicated samples can significantly increase the memorization risk. The theoretical view is supported by the manifold memorization hypothesis and the geometry-adaptive harmonic representation，which explain why diffusion models tend to memorize specific samples from a geometric standpoint. Building upon these qualitative understandings，more quantitative tools are required for the practical assessment of memorization risks. To this end，the quantification methods of memorization are introduced from the perspectives of a model auditor and a malicious attacker. The auditor-based methods can be divided into proxy- and replication-based methods. The proxy-based methods are designed to approximate the memorization score by influence functions，gradient variance，and geometric proxies such as the Hessian curvature. The replication-based methods utilize pixel-，perceptual-，and semantic-level similarity metrics，such as structural similarity index measure（SSIM），learned perceptual image patch similarity（LPIPS），self-supervised copy detection （SSCD），and contrastive language-image pretraining（CLIP），to detect the duplication between generated images and training images. The attacker-based methods can be divided into membership inference and extraction attacks，which are designed to determine whether a sample is in the training dataset or to recover the original training samples directly. The threat models can be further categorized into white-，gray-，and black-box settings according to the attacker’s knowledge of the target model. Given that these quantification methods have empirically verified the severity of memorization-induced privacy leakage，how to effectively mitigate such risks becomes the next critical concern. Therefore，the memorization mitigation methods under a unified framework of machine unlearning are introduced，including 1） differential privacy，2） prompt optimization，and 3） machine unlearning. The differential privacy-based methods are typically applied in the pre-training stage and can provide formal privacy guarantees through input perturbation，output perturbation，or gradient perturbation such as DP-SGD，but at the cost of generative utility. The prompt optimization-based methods intervene at the inference stage by perturbing the text embedding or attention scores to prevent the model from generating memorized content，which is lightweight but less rigorous. The machine unlearning-based methods can be focused on fine-tuning the model parameters to redirect the memorized concepts to null concepts，locating and editing the memorization-related neurons，or applying closed-form parameter editing to remove the influence of specific samples or concepts in a post-hoc manner. The three families of methods are complementary to one another in terms of intervention stage，computational overhead，and privacy guarantee，and their integration provides a more comprehensive perspective on memorization mitigation in diffusion models. In summary，although considerable progress has been made along the abovementioned five aspects，several critical challenges still remain to be addressed in future research. 1） The privacy data processing pipeline and benchmarks of diffusion models are required to be standardized further，given that the absence of unified datasets and evaluation protocols hampers fair comparison and reproducibility. 2） The memorization definitions and machine unlearning algorithms that are more compatible with the characteristics of diffusion models are required to be developed，considering that the existing methods are mostly inherited from classifiers or language models and cannot fully exploit the iterative and cross-modal nature of diffusion processes. 3） The memorization-forgetting mechanisms in novel learning scenarios such as test-time training，federated learning，and continual learning are required to be explored，and the deployment in vertical domains such as medical imaging and financial generation is required to be accelerated for the cooperation of academia and industry. Furthermore，the data privacy policy-relevant ethical issues need to be considered for the responsible deployment of diffusion models in the future.

Key words

diffusion model （DM） / AI safety / privacy / memorization / forgetting

引用本文

翁子辉, 张权, 谢晓华, 赖剑煌. 扩散模型中的记忆遗忘机制综述. 中国图象图形学报, 2026 , 31 (10) : 3460 -3481 . DOI: 10.11834/jig.260095

Zihui Weng, Quan Zhang, Xiaohua Xie, Jianhuang Lai. Survey on memorization and forgetting mechanisms in diffusion models[J]. Journal of Image and Graphics, 2026 , 31 (10) : 3460 -3481 . DOI: 10.11834/jig.260095

正文

收起

0　引言

收起

模型记忆（Wei等，2026）是一种模型存储并重现其训练集中的特定数据点的现象，与之对立的是模型遗忘，即给定遗忘数据集的条件，模型遗忘算法针对已训练的模型特定地消除某些数据样本的影响，无需从头训练使得模型的表现等同于或者趋近于遗忘数据集未参与训练。在有监督场景下，模型不自觉地记忆训练数据集中的敏感信息，进而存在因模型输出（Shokri等，2017）或者对抗性攻击，例如成员推断攻击、数据提取攻击而泄露的风险（Song等，2019）。

随着深度学习的发展（冯展祥等，2025；叶标华等，2025；张权等，2023；谢晓华等，2022），特别是缩放定律（scaling law）（Kaplan等，2020）的验证，大语言模型（large language model，LLM）（Guo等，2025；OpenAI，2023）和视觉模型（Dosovitskiy等，2021；Peebles和Xie，2023）的参数量与数据规模大幅增长，进一步放大了模型记忆现象。扩散模型（diffusion model，DM）作为当前视觉生成任务的主流范式，通过学习逆向去噪过程将高斯噪声还原为复杂数据分布，展现出卓越的生成能力（Peebles和Xie，2023）并在视觉生成任务中得到了广泛应用。尽管模型记忆和遗忘在大语言模型中已经得到较为充分的研究，并且有相关的大语言模型的模型记忆机制综述（Li等，2025b；Wei等，2026；Xiong等，2025；Hartmann等，2023），目前关于模型记忆—遗忘机制在扩散模型中的研究仍然缺乏系统性的研究。然而，其强大的生成能力同样伴随着对训练数据的记忆风险，如何理解扩散模型中的记忆现象并利用模型遗忘缓解其隐私安全隐患，已成为该领域亟待解决的关键课题。

本综述旨在从记忆—遗忘机制的角度，全面概述扩散模型中的记忆—遗忘机制，图1给出了本文综述总览。

本文首先探讨了扩散模型中记忆—遗忘机制的不同理论理解，探索如何定义某些数据点被记忆。接着，本文对记忆评估和对应的模型遗忘方法的常见思路进行分类和分析，阐述它们的方法、优势和局限性。最后，本文介绍了其在隐私审计和医学影像中的下游应用，并讨论了在这个快速发展的领域中存在的开放性挑战和未来方向，强调了对视觉模型更加精确的记忆定义方式、更有效用的隐私保护方法、探索测试阶段的模型记忆—遗忘机制以及基准测试的统一等方面的展望。

本综述的主要贡献如下：1）总结了在扩散模型中，非时序模型和时序模型场景下关于模型记忆的工作，并从模型、数据和理论视角介绍模型记忆的理解；从模型审计方和恶意攻击方的角度介绍模型记忆能力的量化方法。2）从模型预训练、微调、后训练和推理阶段介绍了不同的模型记忆缓解方法，并给出了多项量化指标比较。3）展望了扩散模型下的模型记忆—遗忘机制的3个未来方向：隐私数据流水线与基准测试的标准化；适配扩散模型特性的记忆定义与遗忘算法创新；新学习范式下的机制探索与垂直领域应用。

1　生成式扩散模型概述

收起

扩散模型（Ho等，2020；Song等，2021；Croitoru等，2023；Lipman等，2023；Liu等，2023）已成为现代生成式建模的核心范式。从宏观层面看，其构建了一个前向加噪过程，通过逐步向真实数据添加噪声直至其转化为生成易于采样的分布（通常为各向同性高斯分布），随后学习一个反向生成过程，逐步消除噪声以从数据分布中重建样本。该设计能实现稳定优化与强可控性，使扩散模型成为图像生成领域的尖端技术，并在多模态与视频生成场景中展现出日益显著的优势。本节将从以下3个方面全面介绍扩散模型：理论基础、架构演进及向多模态与视频场景的扩展。

1.1　理论基础

扩散模型的理论建模经历了从去噪扩散概率模型到得分匹配和流匹配的转变，其建模方法如图2所示。

1.1.1　基于噪声预测的建模：去噪扩散概率模型

去噪扩散概率模型（denoising diffusion probabilistic models，DDPM）（Ho等，2020）将扩散过程形式化为一对马尔可夫链，该模型遵循类似热力学扩散的过程，包含两个组成部分。前向过程从干净的数据样本

x 0 ~ p d a t a

开始，逐步注入高斯噪声，具体为

q x 1 : T x 0 = ∏ t = 1 T q x t x t - 1

（1）

q x t x t - 1 = N x t; α t x t - 1, β t I

（2）

式中，

q · ·

为前向过程的概率分布，

x t

是第t步的加噪结果，

N ·; α t x t - 1, β t I

表示均值为

α t x t - 1

、方差为

β t I

的正态分布，

α t

和

β t

是预定义的均值和方差权重，通过选择较小的

β t

，每一步仅对该模型进行平滑扰动，确保数据到纯噪声的平滑路径。而DDPM的关键优势在于

x t

在

x 0

的条件下其边缘分布可以通过累乘和重参数化得到其闭式解，具体为

q x t x 0 = N α ¯ t x 0, 1 - α ¯ t I

（3）

式中，

α t = 1 - β t

以及

α ¯ t = ∏ s = 1 t α s

，能够通过原始样本

x 0

和高斯噪声的线性组合获得

x t

，具体为

x t = α ¯ t x 0 + 1 - α ¯ t ϵ, ϵ ~ N 0, I

（4）

反向过程旨在从噪声中逐步重建数据，该噪声被建模为参数化马尔可夫链转移的序列，其数学表达式为

p θ x 0 : T = p x T ∏ t = 1 T p θ x t - 1 x t

（5）

p θ x t - 1 x t = N x t - 1; μ θ x t, t, Σ θ x t, t

（6）

式中，

p x T

和

p θ x t - 1 x t

分别表示初始高斯分布和以

θ

为模型参数的模型学习到的条件概率分布，其均值和方差分别为

μ θ x t, t

和

Σ θ x t, t

。

该正向—反向框架的优化目标是通过证据下界逼近法最小化负对数似然函数，具体为

E - l o g p θ x 0 ≤ E q - l o g p θ x 0 : T q x 1 : T x 0 = E q - l o g p x T - ∑ t ≥ 1 l o g p θ x t - 1 x t q x t x t - 1 = L

（7）

式（7）可以分解成

L = E q K L q x T x 0 ‖ p x T - l o g p θ x 0 x 1 + ∑ t = 2 T K L q x t - 1 x t, x 0 ‖ p θ x t - 1 x t

（8）

式中，

K L

表示KL散度（Kullback-Leibler divergence）。通过展开式（8）并重新参数化，最终将目标函数简化为采样噪声与预测噪声之间的均方误差，具体为

L ϑ (θ) = E t, x 0, ϵ w t ϵ - ϵ θ x t, t 22

（9）

式中，

x t = α ¯ t x 0 + 1 - α ¯ t ϵ

，

ϵ θ x t, t

表示以

x t

和时间

t

为输入所预测的噪声，

w t

表示时间步依赖的权重系数。

1.1.2　基于得分的建模：得分匹配

基于得分匹配（score matching）的生成模型提供了更普遍的连续时间视角：若能估计噪声数据分布在每个时间点的对数密度梯度——即得分函数的梯度（Song等，2021），则能构建预测该向量场的模型，将噪声逆转为原始样本。如下展示了基于得分的生成模型被表述为正向时间随机微分方程及其唯一对应的逆向时间随机微分方程，分别为

d x = f x, t d t + g (t) d w t

（10）

d x = f x, t - g (t) 2 ∇ x l o g p t (x) d t + g (t) d w ¯ t

（11）

式中，

f x, t

和

g t

分别代表漂移系数和扩散系数，

w t

是标准布朗运动，

w ¯ t

是对应的逆向时间布朗运动。

∇ x

表示针对

x

计算指定函数的散度。该随机微分方程诱导出一个受扰分布族

p t (x)

，并表明该生成过程仅需要知道得分函数，具体为

s * x, t = ∇ x l o g p t (x)

（12）

因此，学习

s θ x, t ≈ s * x, t

是采样的充分条件，从而得到基于得分的建模的另外一种损失函数构建方式，具体为

L η (θ) = 12 E p d (x) s m x; θ - s d (x) 2

（13）

式中，

s d (x)

和

s m x; θ

分别表示真实的得分函数和模型预测的得分函数，

p d (x)

为样本

x

的真实分布。

1.1.3　基于速度场的建模：流匹配和校正流

流匹配（flow matching）（Lipman等，2023）提供了一种更直接的替代方案，它直接学习确定性生成常微分方程（ordinary differential equation，ODE）的时间依赖性向量场

v θ x, t

，而不是隐式推导速度场，具体为

d x d t = v θ x, t, t ∈ [0,1]

（14）

通过回归连接

x 0 ~ p 0

到

x 1 ~ p 1

作为选定条件概率路径的速度场

x t = ψ t x 0, x 1

，可以得到如下的目标函数，具体为

L κ (θ) = E t, x 0, x 1 v θ x t, t - x ˙ t 22

（15）

式中，

x ˙ t = ∂ t ψ t x 0, x 1, x t = ψ t x 0, x 1

。该方法实现了连续归一化流的训练，并提供了高效的确定流推理。校正流（Liu等，2023）可理解为一种特别简单且采样效率高的流匹配的特殊化形式，其能促进直线运输轨迹。一种常见的实现方法是采用线性插值法，具体为

x t = (1 - t) x 0 + t x 1

（16）

使得条件速度变为

x ˙ t = x 1 - x 0

（17）

训练过程可简化为直接将速度回归至该恒定方向，即

L R F = E t, x 0, x 1 v θ x t, t - x 1 - x 0 22

（18）

这种“直线且快速”的设计理念源于以下观察：更直的常微分方程轨迹能够实现仅需极少函数评估即可生成高质量结果的效果。近期对校正流的改进进一步表明，通过优化校正流（rectified flow，ReFlow）方法，可以大幅降低函数调用次数，并提升一步或少步生成质量。

从如上的3种建模方式中可以看出，这种引导纯噪声走向原始数据分布的向量场路径，虽然保证了生成的保真度，但也为模型精准退火到特定训练样本（即记忆发生）提供了确定性的理论可能。

1.2　架构变化

扩散模型的架构经历了从U-Net到Transformer作为主干网络的过程，图3总结了扩散模型的两种主流架构的设计。

1.2.1　U-Net

早期高性能扩散模型主要依赖于U-Net（Ronneberger等，2015）主干网络，如图3（a）所示，数据输入经过多尺度上采样和下采样，并在这些卷积模块中加入跳跃连接机制，使得U-Net能够同时捕捉全局结构和局部细节，以实现多分辨率去噪。而U-Net主干网络的一项重大改进是针对文本到图像任务的条件模块，由stable diffusion（Rombach等，2022）模型所提出。

1.2.2　DiT和MMDiT

从 U-Net到DiT（diffusion Transformer）和 MMDiT（multimodal diffusion Transformer）的过渡主要体现在去噪骨干网络的两大重构以及扩散模型中条件信息的整合方式的改变。

随着可扩展性成为核心问题，如图3（b）所示，DiT（Peebles和Xie，2023）用基于词元（token）的Transformer去噪器取代了多尺度卷积神经网络（convolutional neural network，CNN）作为骨干网络：与ViT（vision Transformer）类似，数据输入通过分块或者词元（patch/token）嵌入映射到序列，堆叠的自注意力模块作为主要的噪声建模模块，时间步长和条件信号则通过Transformer模块内的归一化过程注入，从而将U-Net显式的多尺度设计转向了更统一、可扩展的表示范式。

MMDiT（Esser等，2024）在DiT的基础上，通过结构性地增强条件进入去噪器的方式，引入更明确的图像/文本分支设计，交叉注意力在选定层进行更细粒度的融合，得到更可控且语义一致的多模态交互框架。

从显式的多尺度CNN转向高度可扩展的Transformer，带来了参数量指数级的爆发。正是这种过参数化（over-parameterization）赋予了模型足够的“冗余空间”来存储长尾和重复的训练样本。

1.2.3　扩散模型面临的数据泄露挑战

综上所述，扩散模型通过分阶段的去噪过程或者向量场建模过程实现了对复杂视觉分布的建模。然而，Kadkhodaie等人（2024）的研究解释了扩散模型的去噪器实际上在做基变换和收缩的操作，并在潜空间中寻找最优重构路径。这种重构能力在模型缩放定律下往往会记忆一些特殊的训练数据。这种现象不仅是生成性能的副产物，更构成了严重的隐私漏洞。因此，深入探讨扩散模型中的模型记忆机制，量化其对敏感数据的记忆程度，已成为当前评估视觉生成模型安全性的首要任务。然而，要在这样一个高维连续的生成空间中准确评估并缓解数据泄露，首要挑战在于构建一个严谨且适配扩散模型特性的“模型记忆”数学定义。如下将介绍在模型记忆定义的演化和在扩散模型上的模型记忆的定义分类。

2　记忆的定义

收起

由于模型记忆在作用客体、应用场景等方面的不同，本节从如下的几类维度比较各种模型记忆的定义。

2.1　模型记忆的定义

对模型记忆的第1个通用定义主要集中于监督学习场景（Feldman，2020；Feldman和Zhang，2020）。在监督学习场景中，一条数据是否被模型记忆定义为在有无该训练样本的情况下，模型成功预测样本标签的概率之差。形式上，对于一个数据集

S = x i, y i i ∈ [n]

和

i ∈ [n]

模型记忆定义的表达式为

M A, S, i = P r h ~ A (S) h x i = y i - P r h ~ A S \ i h x i = y i

（19）

式中，

S \ i

表示从

S

中移除

x i, y i

后的数据集，

A

表示在给定数据集下的模型参数的分布，

h

表示从该分布中采样得到的一个具体、已完成训练的模型实例。然而这种模型记忆的定义涉及重新训练新模型而导致计算消耗极高，因此，这种模型记忆得分的计算将通过影响函数（influence function）得到改进。

由于上述定义仍然侧重于监督学习场景，仍然缺乏在视觉生成模型中记忆的精确定义。因此，van den Burg和Williams（2021）提出了以下基于留一法的生成模型记忆定义，对应表达式为

M A, D, i = l o g P A x i D P A x i D [n] \ {i}

（20）

式中，

P A x i D

表示模型

A

在数据集

D

上训练后，赋予观测值

x ∈ X

的后验概率。

D [n] \ {i}

表示从数据集

D

中移除第

i

个样本的数据集。它衡量的是，当观测值包含在训练集中时，其出现的可能性比未包含在训练集时的概率差值。

P A x D

可表示为

P A x D ≈ 1 T ∑ t = 1 T p x D, a t

（21）

由于研究者观察到过参数化的模型即使在图像分类任务中进行了显式正则化，也很容易拟合任意被污染的训练数据（Zhang等，2021）（例如，将狗的照片打上猫的标签）；而随后关于学习动态中记忆的研究工作（Arpit等，2017）表明深度神经网络首先学习训练数据中的较为简单的模式，之后再对训练数据进行记忆。在此之前，传统统计学习理论得出的结论是，模型过拟合训练集会导致测试时误差显著增加，这可能表明记忆训练数据不利于模型的泛化能力（Hastie等，2009）。然而，这一结论是基于欠参数模型的假设，即模型参数的数量小于训练数据的数量。当模型参数数量达到或超过训练数据的数量级时，过拟合现象会变得良性（Cao等，2022；Bartlett等，2020；Tsigler和Bartlett，2023；Kou等，2023）：其训练误差和泛化误差都很小，即所谓的双下降现象（Nakkiran等，2021）。这表明记忆现象与过拟合本质上不同，因而在深度学习理论和应用中得到了更广泛的研究。

如上关于模型记忆的定义通常都受限于传统深度学习场景或者大语言模型场景（Schwarzschild等，2024；Carlini等，2023a；Zhang等，2023），而由于生成式视觉模型，尤其是扩散模型主要基于从加噪到去噪的学习过程而不是固有的自回归机制，并且扩散模型的输出为高维的图像，传统的模型记忆定义难以精确计算后验概率之间的差异，因此对于扩散模型的模型记忆的定义研究更偏向考虑图像本身的特性：按照是否部分产生图像复制分成的全局记忆和局部记忆定义，按照视频这类时序数据的特点所给出的时序记忆等。下文将介绍扩散模型中模型记忆的现有定义。

2.2　图像扩散模型中的全局与局部记忆

Chen等人（2025a）的研究指出，扩散模型的记忆检测方法均基于生成结果与相应训练数据的全局相似性。当模型仅记住了训练集中的特定敏感组件（例如某个人脸特征、特定的艺术签名或水印），并在生成时将其与全新的背景环境进行融合时，全局记忆检测方法容易产生假阴性结果，即本应被归类为真阳性结果的样本，其生成图像中只有部分组件与训练数据中的组件相同，而非全部组件。因此提出了局部记忆的概念，通过对预测噪声进行加权平均来量化记忆程度。具体而言，本研究观察到一种“bright ending”现象：当模型记忆训练数据时，最后一个令牌在最终去噪步骤中表现出异常高的交叉注意力得分，而未记忆的样本则具有接近于零的交叉注意力得分。因此，检测局部记忆的更佳指标是将此注意力分数用做掩码，以进行元素级乘法运算，计算为

d = 1 T Λ Ω

（22）

式中，

Λ

和

Ω

分别为

Λ = ∑ t = 1 T ε θ x t, e p - ε θ x t, e ϕ ∘ m 2

（23）

Ω = ∑ i = 1 N m i

（24）

式中，

N

是掩码

m

中的元素个数。

ε θ x t, e p

表示在状态

x t

和提示

e p

条件下的预测噪声，

e ϕ

表示空提示，

∘

表示逐元素相乘。

2.3　时序模型中的模型记忆定义

近期研究开始系统地考察视频扩散模型中的记忆问题，强调训练数据复制的风险不仅限于2D图像，在时空环境下的视频数据则更为复杂。在时序模型中，隐私数据的泄露途径发生了升维：模型可能并未完全复制原视频的静态物理表象（如人物外貌），但却精准复刻了原视频中独有的连续动作轨迹或运动动力学特征。Chen等人（2025b）的研究认为，视频扩散模型的模型记忆应分解为内容记忆和运动记忆，并采用适用于无条件、文本条件和图像条件生成场景的隐私保护定义，从而解决早期视频扩散模型分析中混淆因素或局限于狭窄场景的局限性。

为了实现这种分离，作者将图像域的复制检测方法应用在时间维度，并提出了一种广义的基于帧的内容度量方法（generalized self-supervised copy detection，GSSCD）。结果表明，与以往评估内容记忆的方法相比，GSSCD与人工标注的一致性更好。

对于运动记忆，他们引入了一种直接相似性度量，即光流相似性（optical flow score-k，OFS-k），其定义为生成视频和训练视频的连续帧对之间具有较高的光流相似性，并进一步应用自然运动滤波（natural motion filtering，NMF）排除不太可能构成隐私风险的相机平移和近乎静态的帧，从而提高运动记忆检测的可靠性。

3　记忆现象的理解

收起

在明确扩散模型记忆现象的多维度定义后，进一步探究其底层驱动机制是实现准确量化与有效模型遗忘的理论前提。与传统模型不同，扩散模型在拟合高维复杂数据分布时，其记忆行为的产生是外部实证因素与内部数学机理共同作用的结果。一方面，从实证角度分析，模型参数规模的扩张（过参数化）与训练数据分布的特性（如长尾分布与高重复率）直接影响了模型对特定样本的记忆倾向；另一方面，从底层机理角度探讨，扩散去噪过程在数据流形上的拓扑特征与网络的局部几何收缩机制，为记忆的发生提供了内在的数学解释。基于此逻辑，本节将依次从影响记忆的模型与数据要素（3.1节），以及解释记忆现象的流形理论视角（3.2节）展开系统性论述，如图4所示。

3.1　影响模型记忆的因素

3.1.1　模型因素

过度参数化的模型是影响模型记忆的一大因素，研究者聚焦于不同参数数量与训练数据集规模比例下的过参数化神经网络，以捕捉记忆效应与模型容量之间的关系。Nakkiran等人（2021）的研究表明，当参数数量超过训练数据规模时，过拟合现象对低泛化误差的模型影响较小，因此模型拥有足够的空间在存储单个训练样本。相反，参数量较小的模型虽然可能避免记忆效应，但面对大量数据时也可能难以有效泛化。Zhang等人（2021）的研究指出，深度神经网络具有记忆整个数据集随机标签的能力，这表明模型的容量足以通过纯粹的记忆来拟合数据，但在真实数据上，模型倾向于优先学习简单的模式，而非强行记忆。早期的研究将模型记忆的范围限定在单个神经网络模块中，例如卷积自编码器中下采样算子的影响（Radhakrishnan等，2019）、全连接网络和卷积神经网络（Zhang等，2020）。Nakkiran等人（2021）的研究指出，随着模型复杂度的增加，测试误差先下降后上升，但在跨过插值阈值进入过参数化区域后，测试误差会再次下降。

模型架构则是影响模型记忆的另一大因素，Maini等人（2023）的研究通过留一法，提出了模型记忆可以在模型架构中被定位的结论。Transformer 及其衍生架构在处理记忆任务时表现出近乎最优的参数效率。Kajitsuka和Sato（2025）的最新理论研究严格证明，在序列生成任务中，Transformer 仅需极少的参数量（理论下界为

O ˜ N

）即可完美记忆

N

个独立样本的映射关系。在这种极致的记忆效率背后，注意力机制凭借其架构特性，扮演了极度高效的上下文识别与寻址路由角色，而实际的记忆内容绑定与容量瓶颈则落在后续的前馈网络或特定的值投影矩阵上。在条件扩散模型的架构中，文本提示词等条件信号被映射为键和值矩阵，而携带噪声的图像潜变量则作为查询。当扩散模型为了降低极端的局部重构误差而对特定训练样本发生记忆时，其数学本质表现为：面对特定敏感数据的查询，注意力权重计算

s o f t m a x Q K T / d k

（

Q

和

K

分别表示查询矩阵和键矩阵，

d k

代表矩阵维度）在极少数对应的 Key 标记上发生了概率坍缩（即激活分布退化为趋近于独热向量）。这种注意力坍缩使得去噪网络放弃了生成分布中应有的特征泛化与平滑插值，转而直接通过该特定的键精确提取出被深层网络过拟合的高保真图像特征。基于这种理论推演，后续的研究则着重于定位模型记忆在模型架构中的主要发生位置。Ren等人（2024）的研究结果表明，在以U-Net为主干网络的扩散模型中，交叉注意力模块，尤其是较深的交叉注意力模块对扩散模型的模型记忆起主要作用。

3.1.2　数据因素

数据分布以及单个数据在该分布下的相对位置会影响到模型对于该样本的记忆。Feldman（2020）的研究提出了样本影响得分的概念，即一条数据是否被模型记忆定义为在有无该训练样本的情况下，模型成功预测样本标签的概率之差；实验研究表明当对稀有和非典型样本（统计上的异常值）进行预测时，分类模型的准确率很低，而这些样本在任何长尾分布数据集中都普遍存在。Feldman和Zhang（2020）的同期研究提供了一种样本影响得分的快速估计方法，可以有效地选择疑似被记忆的样本。由于非典型样本是一个特定分布上的相对位置的概念，Carlini等人（2022）的研究提出了隐私洋葱效应来描述这样一种现象：如果移除分布中最外层的所有非典型样本之后，原本不被记忆的倒数第2层的非典型样本则更容易被模型记忆，进而导致泄露的风险。这表明，移除非典型样本数据等简单的数据移除方法实际上会增加分布中其他潜在敏感数据的隐私泄露风险。

训练集中高度重复或近乎重复的图像的存在会显著增加被记忆和被攻击成功提取的概率。Lee等人（2022）和Kandpal等人（2022）的研究指出被记忆的样本的重现概率与重复次数之间存在正相关。Huang等人（2024）的研究提出了一个在受控环境下研究逐字记忆的框架，得到相当数量的重复是逐字记忆发生的必要条件的结论。训练样本重复的现象在各种扩散模型的数据集中得到验证，而去重已成为避免重复的常用技术（Batifol等，2025）。

3.2　模型记忆的理论视角

为了更加深入理解扩散模型的模型记忆现象，不同于如上经由大量实验得到的经验结论，研究者们开始探讨如何在理论上建模扩散模型的记忆过程，数据分布固有的复杂性和几何结构也会影响记忆。这方面的研究主要基于图像训练数据的流形假设（Brown等，2023），根据定义，流形假设认为在真实世界的高维图像数据

x ∈ R D

是嵌入在

R D

中的一个低维流形

M

的点，且

M

的内在维度（local intrinsic dimension，LID）

d

满足

d ≪ D

，在扩散模型的模型记忆研究中，其内在维度衡量了数据点的复杂性。Ross等人（2025）提出了流形记忆假设，该框架从几何角度出发，对于任意数据点

x

，定义了真实数据流形

M *

和模型学习流形

M θ

，即：真实数据分布

p * (x)

所在的流形和生成模型

p θ (x)

实际学习到的流形。在此基础上，真实数据在该点附近的内在自由度为

L I D * (x)

和模型在该点附近学到的内在自由度为

L I D θ (x)

。论文认为，当模型学到的流形维度过低（

L I D θ (x)

很小）时，会触发扩散模型的模型记忆。其中，当

L I D θ (x) < L I D * (x)

时，论文认为是由过拟合驱动的模型记忆；而当

L I D θ (x) ≈ L I D * (x)

，且

L I D * (x)

较小时，论文认为是有数据驱动的记忆。利用针对

L I D

的高效估计算法（Kamkari等，2024；Stanczuk等，2024）可以衡量扩散模型是否对单一样本点记忆。根据上述理论框架，解释了分类器无关引导（classifier-free guidance，CFG）所得到的向量的范数越大，通常意味着分数函数的模长

s θ

越大。根据扩散模型的几何性质，分数模长越大，意味着该点距离流形越远，或者流形在该处极其陡峭，因而强CFG会降低

L I D θ

，从而迫使模型输出记忆样本。

Kadkhodaie等人（2024）同样从几何角度提出了不同的视角：论文通过实验发现，当训练数据量

N

较小时（例如

N = 10

或

100

），模型处于高方差的状态。此时模型不仅记住了训练集，而且如果用两个不重叠的数据集分别训练两个模型，它们学到的得分函数是完全不同的；同时该论文通过分析扩散模型去噪网络的雅可比矩阵，证明了去噪器实际上在做基变换和收缩的操作，即将图像投影到一组特定的基向量上，对应的系数变小的过程。然而这组基向量是几何自适应（geometry-adaptive harmonic base，GAHB）而非固定的。论文指出，扩散模型能够记忆和泛化的核心原因是扩散模型的归纳偏置符合GAHB的几何结构。

然而，现有针对扩散模型的模型记忆的理论推导大多建立在相对简单的假设（强假设，例如数据分布呈现正态分布等）或者小规模的模型（例如早期的DDPM等模型）之上，并且其实验使用了清晰度较低的图像数据集作为验证，显然这无法为目前在海量的高清晰度数据集下训练的大型扩散模型提供相同的结论；并且，利用这些研究提出的度量无法给模型记忆的量化提供精确的参考。因此理论层面的白盒分析在更大的模型上的未知结论构成了当前扩散模型安全隐私研究的一大矛盾：尽管有一些白盒分析方法，为了真实评估并量化扩散模型的隐私泄露风险，当前的评估范式必然且只能转向基于经验主义的实证方法——即通过设计各种启发式的统计代理指标，或者直接模拟模型审计方与恶意攻击方的视角，发起对抗性测试（如成员推断攻击与数据提取攻击），通过观测模型的输出行为反向推算记忆的下界。

4　模型记忆能力的量化

收起

第3节从模型、数据和几何3个方面分析了记忆是过度拟合数据流形的表现，因此在实际场景中，模型审计方和攻击方可以利用此特性捕获记忆样本。鉴于对于扩散模型的模型记忆的定义多样，并且通过定义来计算模型记忆的计算成本很高，通常需要重新训练模型。因此，本节将分成模型审计方和恶意攻击方两个角度介绍模型记忆的常见量化方法。其核心思想是针对模型记忆分数的定义提出近似计算方法作为代理，或者通过隐私攻击计算模型泄露的占比，进而提供模型记忆分数的下界。本节介绍这些量化方法，表1列出了这些量化方法的思路差异，并且在计算消耗维度进行比较。

4.1　模型审计方的量化方法

4.1.1　通过代理变量的量化方法

在第2节介绍了不同学习场景下扩散模型记忆的几种定义。根据模型记忆定义计算记忆得分的方法基于留一法，即比较扩散模型在特定训练数据存在和不存在两种情况下的性能。这会导致需要重新训练影子模型（shadow model），而当模型规模较大时，针对每一个训练样本重新训练影子模型是不可行的。对应的改进方法是使用部分训练数据而非全部训练数据进行近似计算。例如，Feldman和Zhang（2020）利用在保留数据上通过随机选择独立训练的影子模型的聚合估计器计算一个训练样本的影响得分（influence score），该方法已被证明具有良好的一致性和快速的收敛速度。Jiang等人（2021）在该研究的基础上，提出了一种称为一致性得分（consistency score，C-score）的指标，对于一个样本

(x, y)

，其在训练集大小为

n

时的一致性得分

C P, n x, y

定义为：在从数据分布

P

中采样大小为

n

的训练集

D

（不包含该样本）上训练模型

f

，该模型能正确预测

y

的期望概率，具体为

C P, n x, y = E D ~ P n P f x; D = y

（25）

为了得到一个单一的标量指标，作者对所有可能的训练集大小

n

取期望，得到C-score，具体为

C x, y = E n C P, n x, y

（26）

上述方法在扩散模型中可以将标签

y

理解成对应的文本，而正确预测

y

则表示预测文本和实际文本对应的嵌入很接近。Agarwal等人（2022）提出了在训练过程中跟踪梯度方差，而不仅仅是考虑最终更新的参数，解决了影响函数方法需要对 Hessian 矩阵进行近似会导致较高的误差的问题。van den Burg和Williams（2021）提出了一种K折交叉验证和平均方法来估计生成模型的记忆得分。

如3.2节所述，近期研究已证实记忆现象与损失函数几何形状之间存在理论联系，而损失函数几何形状可作为评估工具。其核心思想是将扩散模型的模型记忆与训练中一些变量的几何特征联系起来。

目前，对于模型记忆的几何代理有如下3类：一类是分析损失函数的曲率，即Hessian矩阵，高曲率样本通常对应于长尾、错误标记或冲突的实例，这些实例更容易被记忆。Ravikumar等人（2024）研究了将模型记忆与输入损失曲率和差分隐私联系起来的理论理解，其中记忆得分可以通过损失曲率来界定。Kim等人（2023）的研究指出，锐度感知最小化（sharpness aware minimization，SAM）在非典型数据上实现泛化的方式甚至可能带来更高的数据泄露。Garg等人（2024）的研究则将记忆样本识别为损失函数曲面中的尖锐极小值，并提出了一种基于损失函数 Hessian 矩阵迹的替代方法，具体为

τ x i = t r ∇ θ 2 L x i, θ^

（27）

式中，

t r ⋅

表示矩阵的迹。

另一类几何代理则考虑扩散模型的概率密度曲面。Jeon等人（2025）用扩散模型对单个样本的对数概率密度Hessian矩阵对应的大负特征值来表征概率曲面的尖锐性，这些特征值可以有效地检测和量化记忆。第3类则是流形分析，如3.2节所述。Ross等人（2025）提出的框架利用了流形假设，通过比较真实数据流形和模型学习到的流形的维度来分析记忆。

4.1.2　基于复制指标的量化方法

除了对扩散模型的模型记忆的定义的代理指标进行量化以外，图像的复制指标也能为估计扩散模型的记忆能力提供下界。这一研究方向始于Xu等人（2018）和Meehan等人（2020）的研究，该研究旨在解决双样本非参数假设检验问题。Bhattacharjee等人（2023）提出了一个统一的数据复制定义框架，解决了Meehan等人（2020）的研究中数据复制定义存在的一些缺陷。检测模型输出相似性的研究可以分为：像素级相似性指标、感知级相似性指标和语义级相似性指标。

当目标图像被扩散模型近乎完美地复制，即具有全局记忆时，基于结构的度量方法来捕捉像素级相似性，例如Wang等人（2004）提出的结构相似性指标（structural similarity index measure，SSIM）通过比较图像的平均灰度值、标准差和协方差判断两幅图像之间的结构性相似度。然而，由于扩散模型具有风格迁移等局部模型记忆，在人为设置的判断阈值下，这些生成的图像可能逃过结构化像素度量的检测，因此，基于学习的度量方法成为解决这一问题的另一研究方向。其主要流程是训练自监督模型并获得高质量的潜表示，以此比较两幅图像之间的潜在表示的相似性。这类基于学习的度量方法则可以按照模态分成如下两类：1）图像模态上的感知级相似性指标，Zhang等人（2018）提出的学习感知图像块相似性（learned perceptual image patch similarity，LPIPS）指标将两幅比较图像放进同一个预训练的神经网络中，例如VGG-Net（Visual Geometry Group network）、ResNet（residual network）等，提取网络中间层的特征图并计算这些特征图之间的距离；Pizzi等人（2022）提出的SSCD（self-supervised copy detection）度量则利用对比学习方法和特定的正则化项学习不同增强方式之间的相似性；最近，Wang等人（2024）提出的ICDiff（image copy detection for diffusion models）利用最先进的扩散模型和更细粒度的嵌入方法构建图像复制对，从而实现更灵敏的复制检测。2）语言模态的语义级相似性指标，通过将比较图像经过多模态理解模型转换成对应文本嵌入之间的相似度比较。Radford等人（2021）的指标被广泛用于评估语义级别的图像相似性。与关注像素结构或局部纹理的指标不同，CLIP（contrastive language-image pretraining）利用在大规模图文对上预训练的图像编码器，将图像映射到一个语义的潜在空间。计算生成图像与训练数据在 CLIP 空间中的余弦相似度，能够有效捕捉模型在概念层级上的记忆行为，即使生成图像在像素和风格上与原图存在显著差异，CLIP 仍能识别出深层的语义重合。

综合上述多层级的图像复制指标，可以看出当前扩散模型的模型记忆度量面临着表征解耦带来的度量困境。扩散模型的高维连续潜空间允许特征在不同语义层级进行重组。单一的像素级指标（如SSIM）或感知级指标（如SSCD）极易被模型生成的微小扰动或随机噪声掩盖，从而产生高昂的假阴性。而语义级指标（如CLIP）虽然能跨越像素差异捕获概念级记忆，却又难以区分模型是泛化了某一类风格还是精准记忆了某一幅图像。这种度量维度的内在割裂表明，在缺乏底层统一物理定义的情况下，仅依赖生成输出的黑盒相似度比对，无法为扩散模型的隐私泄露提供具备严格数学保证的上界。

4.2　恶意攻击方的量化方法

量化模型记忆能力的另一种方法是采用对抗性方式进行测试，即隐私攻击，该方法能实证性地提供记忆能力的下界，本小节将介绍主流隐私攻击技术并探讨其局限性。

4.2.1　成员推断攻击

成员推断攻击（membership inference attack，MIA）（Hu等，2022）旨在确定特定数据样本是否属于模型的训练数据集。早期的研究利用传统模型的过拟合现象设计成员推断攻击，即利用模型在过拟合数据上的输出显示出高置信度或者明显的低损失作为判断标准。攻击者通常依赖上述方法区分训练数据和非训练数据。此外，后续研究还探索了更复杂的算法设计方法，例如Shokri等人（2017）提出的影子建模，通过训练代理模型来模仿目标模型的行为（Shokri等，2017；Carlini等，2022），Jia等人（2019）提出对抗扰动方法以放大成员信号。同时，考虑到单次攻击的准确率和成功率无法真正反映攻击算法的性能和目标模型的脆弱性，Carlini等人（2022）也探讨了检测指标的改进，选择在1%的假阳性下的真阳性水平作为成员的判断标准。

成员推断攻击的本质在于寻找模型在记忆样本和非记忆样本之间行为的差异。因此，设计合适的检测指标至关重要。从人工智能（artificial intelligence，AI）安全角度来看，可将检测指标分为如下3种设置：白盒（Pang等，2025）、灰盒（Dubiński等，2024）和黑盒（Li等，2025a；Matsumoto等，2023），分别代表攻击方能够获得整个模型、模型的中间结果以及仅模型输出的信息。

黑盒设置的隐私攻击通常利用4.1.2节中所述的复制指标，通过预定义的阈值判断样本是否被记忆。Pang和Wang（2023）的研究提出了一种黑盒成员推断攻击扩散模型的流水线，利用已获得或者经过视觉语言模型生成的图像文本标注作为提示输入扩散模型，并且生成多幅图像，通过预训练的图像编码器得到相应的嵌入，以此计算原图嵌入和生成图像的嵌入之间的余弦相似度，在给定阈值的条件下判断该训练图像是否被记忆。

基于灰盒知识的威胁模型假设攻击者可以完全访问中间结果。在扩散模型中，这一假设指的是攻击者可以访问每个推理步骤的中间结果，例如DDPM建模下所预测的噪声或者流匹配建模下所预测的向量场。Duan等人（2023）提出了一种基于查询的隐私攻击SecMI（step-wise error comparing membership inference），该攻击利用扩散前向过程不同时间步的后验估计误差。具体而言，SecMI 计算时间步

t

的近似后验估计误差，计算式为

l ˜ t, x 0 = ψ θ ϕ θ x ˜ t, t, t - x ˜ t 2

（28）

式中，

x ˜ t = ϕ θ x 0, t

是确定性逆向结果，

ψ θ

和

ϕ θ

分别表示确定性逆向和去噪过程。研究表明，扩散模型中的文本条件会导致模型过拟合一些熟悉的生成模式，包括记忆样本。通过这一观察，Zhai等人（2024）进一步研究了条件扩散模型中的文本差异，并以此设计相应的灰盒攻击。

白盒攻击则利用模型参数的额外信息设计攻击方法。白盒攻击中的一大常见方法是在训练过程中计算特定样本对应的梯度，Pang等人（2025）的研究表明这些梯度在范数下被认为是异常值或相对较大，进而可以作为成员推断攻击的判断标准。尽管梯度等一阶信息暗示了分布中的相对位置，但零阶信息（即模型参数）也可能在推理阶段造成数据泄露。因此另一大常见的方法与知识编辑中的神经元定位技术相关，即根据模型参数的分布来判断一个训练样本是否被记忆。例如，Hintersdorf等人（2024）提出了一种基于简单激活分布外检测的神经元级隐私检测方法，该方法通过定位负责记忆训练数据点的神经元来实现。他们通过因果干预来选择和优化U-Net中每个交叉注意力层关键矩阵中的责任神经元群，并通过实验验证了其有效性。另一项同期工作（Chavhan等，2024）则基于模型特定参数用于记忆训练样本的假设，采用Wanda（pruning by weights and activations）剪枝的方法（Sun等，2024）计算记忆神经元，研究了扩散模型建模中的前馈神经网络的神经元。

然而，成员推断攻击的有效性面临着挑战。尽管之前大量的研究从经验和理论层面提出了不同的MIA策略来检测基础模型的训练数据，但这些攻击对视觉生成模型和大型语言模型的有效性仍然存在疑问。如Zhang等人（2025）和Das等人（2025）的研究中所述，成员推断攻击无法提供生产机器学习模型训练中数据使用的可靠证据，由于无法满足数据集分布相同的要求，因此无法限制攻击的假阳性率。

4.2.2　提取攻击

提取攻击（extraction attack，EA）本质上是一种更加强力的成员推断攻击，这种攻击方法使用不同的记忆检测指标，例如k-可提取性（k-extractable）（Carlini等，2023b）等。这类隐私攻击旨在直接从模型的训练数据中恢复原始样本或敏感信息。Carlini等人（2023b）的研究利用实验观察发现，将被记忆的图像文本标注作为提示时，会触发与常规提示输入不一样的生成过程，即生成过程更加具有确定性，以此作为触发条件设计了如下的提取攻击流程：根据不同随机种子下生成的图像的相似性（使用

l 2

距离）识别记忆的样本。实验结果表明这类提取攻击能够很好地恢复被扩散模型记忆的图像。

5　模型记忆缓解方法

收起

正如以上各节所述，由于大模型的记忆机制导致了可能的敏感数据的泄露；而且，第4节阐述了现有的成员推断攻击等对抗性攻击方法能够重现模型记忆的训练样本。因此，如何从预训练的大模型中消除特定敏感数据的影响已经成为大模型隐私安全的核心议题。由于社区目前缺乏能够完全解耦和透视10亿级参数（如DiT、MMDiT架构）隐空间记忆机制的统一理论框架，现有的模型遗忘方法尚未触及记忆消除的本质，而更多地表现为一种启发式的工程防御。从粗粒度的全局噪声注入（差分隐私），到浅层的输入端规避（提示词优化），再到基于经验梯度的局部权重掩盖（概念消除与模型编辑），这些方法试图在效用—隐私权衡中寻找平衡。然而，正是由于底层理论的缺失，这些“工程补丁”往往只实现了表层的“概念隐藏”而非真正的“记忆擦除”。这直接导致了现有遗忘算法在面对精心构造的对抗性攻击时表现出极大的脆弱性。而为了应对诸如“被遗忘权”（Voigt和Von dem Bussche，2017）等隐私数据保护需求，以及训练数据当中通常只有一部分是敏感信息的情况，再加上测试时训练的概念的兴起，允许用户完全删除其指定数据的个性化需求产生了新的隐私保护范式——模型遗忘。形式上，可将模型遗忘问题定义如下：给定一个在数据集

X = x 1, ⋯, x n

上预训练的模型

A

，模型遗忘问题的目标是设计一个高效的模型遗忘算法

U

，使其能够有效地处理数据集

X

的一个子集

U = u 1, ⋯, u m ⊂ X

，其中

m

表示模型遗忘算法的性能与在

X \ U

上预训练的扩散模型几乎相同，并且能够抵御各种隐私攻击。

如上的定义给出了目前模型遗忘的两种主流方法：一种是单纯使用已删除敏感信息的数据集从头开始训练或微调大模型。显然，这种方法无论是在预训练场景还是流式数据场景都会造成极大的计算消耗。因此，更加常用的方法是利用梯度上升等方法达到近似遗忘而不是精确遗忘。从更高的观点来说，这些记忆化缓解的方法本质上都是属于模型遗忘（machine unlearning，MU）这个框架。

图5和表2根据模型遗忘方法在干预阶段和粒度的不同，介绍预训练、微调和后训练以及推理阶段的常见模型记忆缓解方法，包括：差分隐私、提示词优化、模型遗忘，并给出常见方法在扩散模型上的性能比较。

5.1　差分隐私

差分隐私（differential privacy，DP）（Dwork等，2006）是模型遗忘在预训练过程中的常见方法。差分隐私是衡量模型隐私泄露的一大标准。直观地说，其在模型训练当中是一种扰动策略，使得在略微不同的输入下（例如输入在Hamming距离下为1），模型能够以高概率输出相同的答案，而不会因为简单的差分导致敏感数据的泄露。在模型中应用差分隐私通常可以分为3种主要的方法：输入扰动（Kasiviswanathan等，2011；Warner，1965）是最为直接的加噪方式，核心处理方法为针对原始数据集中的每一个样本或者特征添加随机噪声（通常该噪声服从Laplace分布或者Gaussian分布），这种做法在本地差分隐私（Arachchige等，2020）场景中尤为常见，因为需要考虑是否信任中心节点和传输节点。而另一种加噪的方式是输出扰动，即模型在干净的敏感数据上进行训练，在生成最终结果之后，计算该算法的全局敏感度

f

，根据该敏感度和隐私预算

ϵ

，向输出结果添加校准之后的噪声（Chaudhuri等，2011；Dwork等，2006）。然而，这两类扰动方法具有同样的模型效用大幅下降的问题。在深度学习中，更为常用的是将差分隐私应用在训练算法上，其本质是针对训练时计算得到的梯度进行扰动，例如，Abadi等人（2016）提出的DP-SGD（differential private stochastic gradient descent）方法则是通过每一轮训练中针对单样本梯度进行梯度裁剪、梯度求和以及注入噪声（利用moments accountant方法计算总的隐私消耗），得到经过处理的梯度并做参数更新。该算法以及后续的改进都能够适用于基于梯度下降训练的神经网络模型，而且能够有效抵御当时发布的成员推断攻击和数据提取攻击，也成为了纪念城隐私模型训练的基准方法。在扩散模型的场景下，Lyu等人（2024）提出了在预训练阶段利用公共数据训练自编码器，而在微调阶段冻结自编码器，针对不同下游应用的私有数据应用DP-SGD算法。该方法可大幅减少训练参数的数量。实验证明，只微调注意力模块比微调整个模型或ResNet块效果更好，能更有效地捕捉数据分布的迁移，同时减少DP-SGD引入的噪声干扰，表2中预训练阶段给出了该算法在隐私预算

ϵ = 1

和

ϵ = 10

时stable diffusion（SD） v1.4在CelebA数据集上的性能表现，可以看出当隐私预算变小时，对应的FID（Fréchet inception distance）大幅下降，表示图像的生成质量和多样性也大幅下降。

然而，差分隐私是针对整个训练数据集的统计隐私，而非个体隐私，是参数扰动的粗略版本，因此在差分隐私约束下训练后，模型性能同样会显著下降。此外，由于DP-SGD 中的裁剪操作（差分隐私训练的核心），差分隐私训练会产生巨大的计算消耗，这对于大规模训练来说是难以承受的。因此，一系列研究工作致力于在不同的学习场景中开发更高效的审计算法，以及跳开差分隐私的框架做更加适应大模型的隐私保护方法（Steinke等，2023；Nasr等，2023；Cebere等，2025；Panda等，2025）。差分隐私也可以用于推理阶段，如图5中的虚线所示，但由于后续模型记忆缓解方法的提出和差分隐私的计算消耗，扩散模型隐私领域逐渐少用这类方法。

5.2　提示词优化

提示词优化是模型遗忘在推断过程中的常见方法。Somepalli等人（2023a，b）的研究表明，被记忆的提示词中的某些词语或标记会对训练数据泄露产生显著影响，提示词优化则是在训练和推理阶段针对模型的输入进行偏移，使得模型无法将经过修改的输入和被记忆的训练数据所对应，使得生成的图像和被记忆的训练图像有差别，达到了模型遗忘敏感数据的效果。算法希望通过扰动提示嵌入来防止敏感部分的输出，同时保持与原始提示相似的语义。具体而言，给定一个包含

N

个标记的提示

p

的提示嵌入

e

，定义其最小化问题的目标如下

L x t, e = ϵ θ x t, e - ϵ θ x t, e ∅ 2

（29）

式中，

e

表示图像文本对样本中的文本的嵌入，

e ∅

表示零嵌入。

Somepalli等人（2023a，b）的研究提出一种直接的方法，将这些触发词或标记与随机词元交替使用，但这种方法也导致了模型生成的结果相比起原生的生成结果要差很多。Wen等人（2024）尝试通过提示词优化来缓解记忆泄露，具体而言，该方法寻找一个受扰动的嵌入向量

e *

，使得文本条件噪声预测的幅度最小化，并且为了防止优化后的嵌入向量偏离原始含义太远（导致生成的图和提示词无关），作者引入了一个目标损失阈值

l t a r g e t

。一旦损失达到该阈值，即停止优化，以此平衡遗忘和语义。Chen等人（2025a）的后续工作进一步研究了局部记忆的概念，以更好地捕捉记忆泄露，并利用该概念增强提示优化。表2的推理阶段给出了如上提及的提示词优化方法在FID，SSCD和CLIP这3个指标下的表现。可以看出，提示词优化在推理阶段的模型记忆缓解方法中达到了最佳性能。

尽管提示词优化在推理阶段展现出了极低的计算开销与较好的初步防御效用，但本质上仅仅是阻断了特定文本条件与敏感数据之间的显式映射路径。然而，敏感数据的底层几何特征依然作为无条件视觉先验被隐式地编码在去噪网络（如 U-Net 的残差块或 DiT 的前馈网络）的冗余参数中。这种隐蔽式安全防御机制极易被恶意攻击者通过构造对抗性提示词，或在连续潜空间中寻找替代触发路径所绕过。因此，单纯在输入端进行的访问控制，无法替代对模型参数空间的深层干预。

5.3　模型遗忘

模型遗忘（Nguyen等，2025；Cao和Yang，2015）是针对已训练模型进行特定概念消除的后处理方法。传统的防御思路（如差分隐私）虽然能在预训练阶段提供统计学保证，但极大地破坏了生成效用。因此，研究重点必然转向干预成本更低、针对性更强的后训练阶段——即模型遗忘。模型遗忘旨在从预训练的模型权重中精准擦除特定数据或概念的影响，确保存储的模型参数不再包含非预期的知识（如版权图像等），且无需从头重新训练模型。在扩散模型的场景下，现有的模型遗忘方法主要可以归纳为基于重定向的微调、基于显著性的参数定位以及基于闭式解的快速编辑3类策略。

基于重定向的微调是最早应用于扩散模型遗忘的主流策略。该类方法的核心思想是通过微调模型参数，将目标概念的生成路径重定向至无关的空概念或随机输出。例如，Gandikota等人（2023）提出的ESD（erased stable diffusion）方法通过微调U-Net中的交叉注意力模块，利用负向引导将目标概念的预测噪声推向空文本对应的分布，从而在无需重新训练的情况下移除特定艺术风格或物体。Zhang等人（2024a）提出的forget-me-not和Kumari等人（2023）提出的概念消除法也采用了类似的微调逻辑，通过惩罚与目标概念相关的生成行为抑制敏感内容的输出。Heng和Soh（2023）的研究从持续学习的观点，将模型遗忘的任务放入灾难性遗忘的框架当中。具体而言，作者给出了一个通用的贝叶斯优化框架，首先对提示词中敏感的概念进行优化，生成一个替代概念；其次加入了利用Fisher信息的正则项，并且模型利用本身生成的伪数据进行记忆的选择性保留。

然而，全局微调可能会对模型的通用生成能力造成破坏。为了解决这一问题，研究者提出了基于显著性的参数定位方法。模型编辑是针对模型参数而不针对输入或者输出修改。该策略认为模型中仅有少部分关键权重负责特定概念的生成。先前Maini等人（2023）和Chen等人（2024）关于记忆定位的研究表明模型记忆发生在模型架构中的特定位置，但并非局限于单个层，而是一种局限于模型各层中一小部分神经元的现象。上述的研究只考虑了监督学习的场景，进一步的研究探索了扩散模型中的记忆是否可以定位，以及如何有效地定位这些神经元。

Fan等人（2024）提出的SalUn以及Wu和Harandi（2024）提出的ScissorHands利用梯度信息计算权重显著性，精准定位与待遗忘概念高度相关的参数子集进行更新，从而在实现遗忘的同时最大程度保留模型在其他任务上的性能。此外，为了进一步提升遗忘的效率，Gandikota等人（2024）提出了UCE（unified concept editing），这是一种基于闭式解的参数编辑方法，通过在闭式形式下直接编辑模型投影矩阵，实现了对扩散模型概念的快速修改，避免了昂贵的迭代优化过程。Hintersdorf等人（2024）的研究应用基于阈值的策略，利用SSIM得分识别扩散模型的交叉注意力组件所有value层中具有分布外激活的候选记忆神经元。该选择过程包括初筛和细筛，细筛过程会移除不负责记忆的神经元。实验表明，仅移除百级神经元即可显著降低记忆泄露。另一篇同期发表的论文中，Chavhan等人（2024）的研究应用了一种Wanda剪枝（Sun等，2024）的高效剪枝方法，用于扩散模型前馈网络所有线性层中的记忆神经元检测。实验也证明了该方法对提取攻击的有效抵抗力，表明其具有良好的记忆保留能力。

与上述的概念遗忘不同，研究者们开始考虑样本层面上的遗忘以满足更加个性化删除特定数据的实际需求。Alberti等人（2025）提出的SISS（subtracted importance sampled scores）方法，利用重要性采样将目标函数重构成全量数据训练的目标函数与遗忘集的目标函数之差，使得模型能够在不需要额外锚点样本的情况下，精准地遗忘特定的训练图像（例如特定的人脸或甚至只有一张的样本），同时保持模型的生成能力不退化。

表2的微调/后训练阶段行列出了本节所述模型编辑与概念遗忘方法的性能指标。然而，由于各方法所采用的数据集不同，且缺乏在 FID、SSCD 和 CLIP等指标上的统一评估，导致直接的横向性能比较不可行。关于建立更加规范化基准测试的必要性，将于第6节中进一步讨论。

尽管上述方法在非对抗环境下表现出了良好的遗忘效果，但近期的安全性研究（Zhang等，2024b；Chin等，2024；Pham等，2024）指出，现有的遗忘算法在面对对抗性提示攻击时仍表现出显著的脆弱性。攻击者可以通过在输入提示中添加微小的对抗性扰动（例如在词元嵌入空间进行优化），成功绕过遗忘机制，诱导“已遗忘”的模型重新生成原本已被消除的不安全内容。这表明现有的模型遗忘方法主要实现了防御性的概念隐藏，而非彻底的知识清除。如何在对抗环境下实现鲁棒的模型遗忘成为当前该领域亟待解决的新挑战（Zhang等，2024c）。

6　未来与展望

收起

随着扩散模型在视觉生成领域的飞速发展，当前针对模型记忆与隐私遗忘的研究虽然取得了一定进展，但现有的技术在数据规范、算法机理及应用范式上仍存在显著的局限性。从这些问题出发，可以展望该领域未来的发展趋势。

1）隐私数据处理流水线和基准测试亟待规范。高质量的数据治理与统一的评估标准是构建安全可信生成模型的基石。虽然研究者已经尝试构建了一些用于遗忘的数据集，但当前已有的数据无论在场景真实性还是评估维度的覆盖面上都有很大的发展空间。一方面，当前的数据治理缺乏全生命周期的视野，大多数防御仅停留在模型微调或者后训练阶段，在数据预处理方面仅限于一些预处理技巧而缺乏规范化的预处理流程，因此，有必要建立一套从敏感数据检测到标准化遗忘请求处理的完整流水线，实现大模型隐私安全的前置防御。另一方面，当前领域缺乏公认的测试基准，导致不同防御机制难以在同一维度下公平比较。现有的评估多依赖简单的数据集，难以反映真实攻击场景下的隐私泄露风险。因此，未来的研究需要构建涵盖多维度的统一评估基准，包括但不限于隐私保护率、图像生成质量和隐私防御成功率等，特别是构建模拟真实世界攻击（如成员推断攻击、模型反演）的高保真数据集。如何设计能够量化效用—隐私权衡的标准化指标，如何构建覆盖医疗等多场景的真实评测集，都是需要进一步研究的内容。

2）更符合扩散模型特性的模型记忆定义和模型遗忘算法亟待提出。当前基于扩散模型的遗忘技术仍处于探索阶段，尚未形成统一的理论框架。主流的研究大多借鉴大语言模型的微调技术，将针对离散数据的编辑方法生搬硬套到连续的视觉流形上，忽略了扩散模型独特的去噪机制与时序特性。由于视觉生成任务与文本生成任务在记忆存储方式上存在本质差异，直接迁移的方法往往导致生成质量严重下降或记忆清除不彻底。因此，有必要研究符合扩散模型物理特性的原生算法：首先，需要重构视觉记忆的定义，建立从像素级别到语义级别的视觉模态的记忆量化理论；其次，未来的算法应更加深入扩散过程的内部机理，类似模型编辑方法，例如利用扩散模型马尔可夫链的时序建模特性和不同的建模方法，探索在特定时间步或得分函数层面进行干预。此外，模型架构的改进也是一个重要方向，当前的U-Net或DiT架构导致模型遗忘算法无法完全解耦遗忘的敏感信息，未来如何通过引入混合专家系统（mixtral of experts，MoE）或模型剪枝技术实现架构层面的记忆解耦，从而实现更高效的遗忘，是极具前景的研究课题。

3）新学习场景的模型记忆—遗忘机制与垂直领域落地。当前的研究多聚焦于静态模型在通用场景下的隐私保护，而忽略了深度学习范式转变带来的新挑战以及高敏感领域的特殊需求。一方面，随着测试时训练（test-time training，TTT）（Behrouz等，2025a，b）逐渐成为提升模型泛化能力的新范式，模型则处于动态更新的数据流中。现有的静态防御机制在面对在线学习时容易失效，由此带来了动态隐私保护的新机遇：如何设计即时遗忘机制，在模型实时摄入新数据的过程中动态监测并清除有害记忆，是构建自适应安全系统的关键。另一方面，尽管通用模型的遗忘已有探索，但在金融、医疗影像等垂直领域的落地仍面临巨大鸿沟。这些领域对隐私有着极高的合规要求，例如在医疗生成中，如何在严格消除患者生物特征的同时完美保留病理特征，是通用算法难以解决的难题。因此，针对垂直领域的专用遗忘技术，如何确保金融和医疗在合成数据和医学影像中隐私信息的擦除，将是未来推动隐私保护技术落地的核心方向。

7　结语

收起

本文综述了扩散模型中模型记忆—遗忘机制的研究进展。具体而言，本文从对扩散模型的理论建模和架构、模型记忆在时序和非时序扩散模型上的定义和理解、量化方法以及模型记忆缓解方法进行了全面的概述，并总结了当前扩散模型在记忆—遗忘机制方面所面临的主要开放性问题与挑战。

基金

收起

国家自然科学基金项目（12326618）；广东省信息安全技术重点实验室项目（2023B1212060026）

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Abadi

，Chu

，Goodfellow

，McMahan

H B

，Mironov

，Talwar

，et al. 2016. Deep learning with differential privacy//Proceedings of 2016 ACM SIGSAC Conference on Computer and Communications Security. Vienna，Austria： ACM： 308-318 ［DOI： 10.1145/2976749.2978318］

Agarwal

，D’souza

and Hooker

. 2022. Estimating example difficulty using variance of gradients//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans，USA： IEEE： 10358-10368 ［DOI： 10.1109/CVPR52688.2022.01012］

Alberti

，Hasanaliyev

，Shah

and Ermon

. 2025. Data unlearning in diffusion models//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-17

Arachchige

P C M

，Bertok

，Khalil

，Liu

D X

，Camtepe

and Atiquzzaman

. 2020. Local differential privacy for deep learning. IEEE Internet of Things Journal，7（7）： 5827-5842 ［DOI： 10.1109/JIOT.2019.2952146］

Arpit

，Jastrzębski

，Ballas

，Krueger

，Bengio

，Kanwal

M S

，et al. 2017. A closer look at memorization in deep networks//Proceedings of the 34th International Conference on Machine Learning. Sydney，Australia： JMLR.org： 233-242

Bartlett

P L

，Long

P M

，Lugosi

and Tsigler

. 2020. Benign overfitting in linear regression. Proceedings of the National Academy of Sciences of the United States of America，117（48）： 30063-30070 ［DOI： 10.1073/pnas.1907378117］

Batifol

，Blattmann

，Boesel

，Consul

，Diagne

，Dockhorn

，et al. 2025. FLUX.1 Kontext： flow matching for in-context image generation and editing in latent space ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2506.15742.pdf

Behrouz

，Razaviyayn

，Zhong

P L

and Mirrokni

. 2025a. It’s all connected： a journey through test-time memorization，attentional bias，retention，and online optimization ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2504.13173.pdf

Behrouz

，Zhong

P L

and Mirrokni

. 2025b. Titans： learning to memorize at test time//Proceedings of the 39th International Conference on Neural Information Processing Systems. San Diego，USA： Curran Associates Inc.： 1-38

Bhattacharjee

，Dasgupta

and Chaudhuri

. 2023. Data-copying in generative models： a formal framework//Proceedings of the 40th International Conference on Machine Learning. Honolulu，USA： JMLR.org： #101

Brown

B C A

，Caterini

A L

，Ross

B L

，Cresswell

J C

and Loaiza-Ganem

. 2023. Verifying the union of manifolds hypothesis for image data//Proceedings of the 11th International Conference on Learning Representations. Kigali，Rwanda： OpenReview.net： 1-24

Cao

，Chen

Z X

，Belkin

and Gu

Q Q

. 2022. Benign overfitting in two-layer convolutional neural networks//Proceedings of the 36th International Conference on Neural Information Processing Systems. New Orleans，USA： Curran Associates Inc.： #1830

Cao

Y Z

and Yang

J F

. 2015. Towards making systems forget with machine unlearning//Proceedings of 2015 IEEE Symposium on Security and Privacy. San Jose，USA： IEEE： 463-480 ［DOI： 10.1109/SP.2015.35］

Carlini

，Chien

，Nasr

，Song

，Terzis

and Tramèr

. 2022. Membership inference attacks from first principles//Proceedings of 2022 IEEE Symposium on Security and Privacy. San Francisco，USA： IEEE： 1897-1914 ［DOI： 10.1109/SP46214.2022.9833649］

Carlini

，Hayes

，Nasr

，Jagielski

，Sehwag

，Tramèr

，et al. 2023a. Extracting training data from diffusion models//The 32nd USENIX Conference on Security Symposium. Anaheim，USA： USENIX Association： #294

Carlini

，Ippolito

，Jagielski

，Lee

，Tramèr

and Zhang

C Y

. 2023b. Quantifying memorization across neural language models//Proceedings of the 11th International Conference on Learning Representations. Kigali，Rwanda： OpenReview.net： 1-19

Cebere

T I

，Bellet

and Papernot

. 2025. Tighter privacy auditing of DP-SGD in the hidden state threat model//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-23

Chaudhuri

，Monteleoni

and Sarwate

A D

. 2011. Differentially private empirical risk minimization. Journal of Machine Learning Research，12： 1069-1109

Chavhan

，Bohdal

，Zong

Y S

，Li

and Hospedales

. 2024. Memorized images in diffusion models share a subspace that can be located and deleted ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2406.18566.pdf

Chen

，Liu

D C

，Shah

and Xu

. 2025a. Exploring local memorization in diffusion models via bright ending attention//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-15

Chen

，Liu

E H

，Liu

D C

，Shah

and Xu

. 2025b. Investigating memorization in video diffusion models//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-17

Chen

R Z

，Hu

T X

，Feng

and Liu

Z Z

. 2024. Learnable privacy neurons localization in language models//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Bangkok，Thailand： Association for Computational Linguistics： 256-264 ［DOI： 10.18653/v1/2024.acl-short.25］

Chin

Z Y

，Jiang

C M

，Huang

C C

，Chen

P Y

and Chiu

W C

. 2024. Prompting4Debugging： red-teaming text-to-image diffusion models by finding problematic prompts//Proceedings of the 41st International Conference on Machine Learning. Vienna，Austria： JMLR.org： #336

Croitoru

F A

，Hondru

，Ionescu

R T

and Shah

. 2023. Diffusion models in vision： a survey. IEEE Transactions on Pattern Analysis and Machine Intelligence，45（9）： 10850-10869 ［DOI： 10.1109/TPAMI.2023.3261988］

Das

，Zhang

and Tramèr

. 2025. Blind baselines beat membership inference attacks for foundation models//Proceedings of 2025 IEEE Security and Privacy Workshops. San Francisco，USA： IEEE： 118-125 ［DOI： 10.1109/SPW67851.2025.00016］

Dosovitskiy

，Beyer

，Kolesnikov

，Weissenborn

，Zhai

X H

，Unterthiner

，et al. 2021. An image is worth 16 × 16 words： transformers for image recognition at scale//Proceedings of the 9th International Conference on Learning Representations. ［s.l.］： OpenReview.net： 1-22

Duan

J H

，Kong

，Wang

S Q

，Shi

X S

and Xu

K D

. 2023. Are diffusion models vulnerable to membership inference attacks?//Proceedings of the 40th International Conference on Machine Learning. Honolulu，USA： JMLR.org： #349

Dubiński

，Kowalczuk

，Pawlak

，Rokita

，Trzciński T and Morawiecki

. 2024. Towards more realistic membership inference attacks on large diffusion models//Proceedings of 2024 IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa，USA： IEEE： 4848-4857 ［DOI： 10.1109/WACV57701.2024.00479］

Dwork

. 2006. Differential privacy//Proceedings of the 33rd International Colloquium on Automata，Languages，and Programming. Venice，Italy： Springer： 1-12 ［DOI： 10.1007/11787006_1］

Dwork

，McSherry

，Nissim

and Smith

. 2006. Calibrating noise to sensitivity in private data analysis//Proceedings of the 3rd Theory of Cryptography Conference. New York，USA： Springer： 265-284 ［DOI： 10.1007/11681878_14］

Esser

，Kulal

，Blattmann

，Entezari

，Müller

，Saini

，et al. 2024. Scaling rectified flow transformers for high-resolution image synthesis//Proceedings of the 41st International Conference on Machine Learning. Vienna，Austria： JMLR.org： #503

Fan

C Y

，Liu

J C

，Zhang

Y H

，Wong

，Wei

and Liu

S J

. 2024. SalUn： empowering machine unlearning via gradient-based weight saliency in both image classification and generation//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-31

Feldman

. 2020. Does learning require memorization？ A short tale about a long tail//Proceedings of the 52nd Annual ACM SIGACT Symposium on Theory of Computing. Chicago，USA： ACM： 954-959 ［DOI： 10.1145/3357713.3384290］

Feldman

and Zhang

C Y

. 2020. What neural networks memorize and why： discovering the long tail via influence estimation//Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #242

Feng

Z X

，Lai

J H

，Yuan

，Huang

Y L

and Lai

P J

. 2025. Advancing universal person reidentification： a survey on the applications of large-scale，pretraining models for identifying individuals. Journal of Image and Graphics，30（6）： 1638-1660

冯展祥，赖剑煌，袁藏，黄宇立，赖培杰. 2025. 走向通用行人重识别：预训练大模型技术在行人重识别的应用综述. 中国图象图形学报，30（6）： 1638-1660 ［DOI： 10.11834/jig.240426］

Gandikota

，Materzyńska

，Fiotto-Kaufman J and Bau

. 2023. Erasing concepts from diffusion models//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision. Paris，France： IEEE： 2426-2436 ［DOI： 10.1109/ICCV51070.2023.00230］

Gandikota

，Orgad

，Belinkov

，Materzyńska J and Bau

. 2024. Unified concept editing in diffusion models//Proceedings of 2024 IEEE/CVF Winter Conference on Applications of Computer Vision. Waikoloa，USA： IEEE： 5099-5108 ［DOI： 10.1109/WACV57701.2024.00503］

Garg

，Ravikumar

and Roy

. 2024. Memorization through the lens of curvature of loss function around samples//Proceedings of the 41st International Conference on Machine Learning. Vienna，Austria： JMLR.org： #604

Guo

D Y

，Yang

D J

，Zhang

H W

，Song

J X

，Wang

P Y

，Zhu

Q H

，et al. 2025. DeepSeek-R1 incentivizes reasoning in LLMs through reinforcement learning. Nature，645（8081）： 633-638 ［DOI： 10.1038/s41586-025-09422-z］

Hartmann

，Suri

，Bindschaedler

，Evans D Tople S and West R. 2023. SoK： memorization in general-purpose large language models ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2310.18362.pdf

Hastie

，Tibshirani

and Friedman

. 2009. The Elements of Statistical Learning： Data Mining，Inference，and Prediction. 2nd ed. New York： Springer： 1-764 ［DOI： 10.1007/978-0-387-84858-7］

Heng

and Soh

. 2023. Selective amnesia： a continual learning approach to forgetting in deep generative models//Proceedings of the 37th International Conference on Neural Information Processing Systems. New Orleans，USA： Curran Associates Inc.： #751

Hintersdorf

，Struppek

，Kersting

，Dziedzic

and Boenisch

. 2024. Finding NeMo： localizing neurons responsible for memorization in diffusion models//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #2800

，Jain

and Abbeel

. 2020. Denoising diffusion probabilistic models//Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #574

H S

，Salcic

，Sun

L C

，Dobbie

，Yu

P S

and Zhang

X Y

. 2022. Membership inference attacks on machine learning： a survey. ACM Computing Surveys （CSUR），54（S11）： #235 ［DOI： 10.1145/3523273］

Huang

，Yang

D Y

and Potts

. 2024. Demystifying verbatim memorization in large language models//Proceedings of 2024 Conference on Empirical Methods in Natural Language Processing. Miami，USA： Association for Computational Linguistics： 10711-10732 ［DOI： 10.18653/v1/2024.emnlp-main.598］

Jeon

，Kim

and No

. 2025. Understanding and mitigating memorization in generative models via sharpness of probability landscapes//Proceedings of the 42nd International Conference on Machine Learning. Vancouver，Canada： JMLR.org： #1066

Jia

J Y

，Salem

，Backes

，Zhang

and Gong

N Z

. 2019. MemGuard： defending against black-box membership inference attacks via adversarial examples//Proceedings of 2019 ACM SIGSAC Conference on Computer and Communications Security. London，UK： ACM： 259-274 ［DOI： 10.1145/3319535.3363201］

Jiang

Z H

，Zhang

C Y

，Talwar

and Mozer

M C

. 2021. Characterizing structural regularities of labeled data in overparameterized models//Proceedings of the 38th International Conference on Machine Learning. ［s.l.］： JMLR.org： 5034-5044

Kadkhodaie

，Guth

，Simoncelli

E P

and Mallat

. 2024. Generalization in diffusion models arises from geometry-adaptive harmonic representations//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-25

Kajitsuka

and Sato

. 2025. On the optimal memorization capacity of transformers//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-42

Kamkari

，Ross

B L

，Hosseinzadeh

，Cresswell J C and Loaiza-Ganem

. 2024. A geometric view of data complexity： efficient local intrinsic dimension estimation with diffusion models//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #1211

Kandpal

，Wallace

and Raffel

. 2022. Deduplicating training data mitigates privacy risks in language models//Proceedings of the 39th International Conference on Machine Learning. Baltimore，USA： JMLR.org： 10697-10707

Kaplan

，McCandlish

，Henighan

，Brown

T B

，Chess

，Child

，et al. 2020. Scaling laws for neural language models ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2001.08361.pdf

Kasiviswanathan

S P

，Lee

H K

，Nissim

，Raskhodnikova

and Smith

. 2011. What can we learn privately？ SIAM Journal on Computing，40（3）： 793-826 ［DOI： 10.1137/090756090］

Kim

Y I

，Agiollo

，Agrawal

，Royset

J O

and Khanna

. 2023. On memorization and privacy risks of sharpness aware minimization ［EB/OL］［2026-01-28］. https://arxiv.org/pdf/2310.00488.pdf

Kou

Y W

，Chen

Z X

，Chen

Y Z

and Gu

Q Q

. 2023. Benign overfitting in two-layer ReLU convolutional neural networks//Proceedings of the 40th International Conference on Machine Learning. Honolulu，USA： JMLR.org： #727

Kumari

，Zhang

B L

，Wang

S Y

，Shechtman

，Zhang

and Zhu

J Y

. 2023. Ablating concepts in text-to-image diffusion models//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision. Paris，France： IEEE： 22634-22645 ［DOI： 10.1109/ICCV51070.2023.02074］

Lee

，Ippolito

，Nystrom

，Zhang

C Y

，Eck

，Callison-Burch

，et al. 2022. Deduplicating training data makes language models better//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Dublin，Ireland： Association for Computational Linguistics： 8424-8445 ［DOI： 10.18653/v1/2022.acl-long.577］

J W

，Dong

，He

T X

and Zhang

J Z

. 2025a. Towards black-box membership inference attack for diffusion models//Proceedings of the 42nd International Conference on Machine Learning. Vancouver，Canada： JMLR.org： #1343

Q X

，Luo

X Y

，Chen

Y Y

and Bjerva

. 2025b. Trustworthy machine learning via memorization and the granular long-tail： a survey on interactions，tradeoffs，and beyond ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2503.07501.pdf

Lipman

，Chen

R T Q

，Ben-Hamu

，Nickel

and Le

. 2023. Flow matching for generative modeling//Proceedings of the 11th International Conference on Learning Representations. Kigali，Rwanda： OpenReview.net： 1-28

Liu

X C

，Gong

C Y

and Liu

. 2023. Flow straight and fast： learning to generate and transfer data with rectified flow//Proceedings of the 11th International Conference on Learning Representations. Kigali，Rwanda： OpenReview.net： 1-33

Lyu

S Y

，Vinaroz

，Liu

M F

and Park

. 2024. Differentially private latent diffusion models//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-24

Maini

，Mozer

M C

，Sedghi

，Lipton

Z C

，Kolter

J Z

and Zhang

C Y

. 2023. Can neural network memorization be localized?//Proceedings of the 40th International Conference on Machine Learning. Honolulu，USA： JMLR.org： #983

Matsumoto

，Miura

and Yanai

. 2023. Membership inference attacks against diffusion models//Proceedings of 2023 IEEE Security and Privacy Workshops. San Francisco，USA： IEEE： 77-83 ［DOI： 10.1109/SPW59333.2023.00013］

Meehan

，Chaudhuri

and Dasgupta

. 2020. A three sample hypothesis test for evaluating generative models//Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics. Palermo，Italy： JMLR.org： 3546-3556

Nakkiran

，Kaplun

，Bansal

，Yang

，Barak

and Sutskever

. 2021. Deep double descent： where bigger models and more data hurt. Journal of Statistical Mechanics： Theory and Experiment，2021（12）： #124003 ［DOI： 10.1088/1742-5468/ac3a74］

Nasr

，Hayes

，Steinke

，Balle

，Tramèr

，Jagielski

，et al. 2023. Tight auditing of differentially private machine learning//The 32nd USENIX Conference on Security Symposium. Anaheim，USA： USENIX Association： #92

Nguyen

T T

，Huynh

T T

，Ren

，Nguyen

P L

，Liew

A W C

，Yin

H Z

，et al. 2025. A survey of machine unlearning. ACM Transactions on Intelligent Systems and Technology，16（5）： #108 ［DOI： 10.1145/3749987］

OpenAI. 2023. GPT-4 technical report ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2303.08774.pdf

Panda

，Tang

X Y

，Choquette-Choo

C A

，Nasr

and Mittal

. 2025. Privacy auditing of large language models//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-17

Pang

and Wang

T H

. 2023. Black-box membership inference attacks against fine-tuned diffusion models ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2312.08207.pdf

Pang

，Wang

T H

，Kang

X H

，Huai

M D

and Zhang

. 2025. White-box membership inference attacks against diffusion models. Proceedings on Privacy Enhancing Technologies，2025（2）： 398-415 ［DOI： 10.56553/popets-2025-0068］

Peebles

and Xie

S N

. 2023. Scalable diffusion models with transformers//Proceedings of 2023 IEEE/CVF International Conference on Computer Vision. Paris，France： IEEE： 4172-4182 ［DOI： 10.1109/ICCV51070.2023.00387］

Pham

，Marshall

K O

，Cohen

，Mittal

and Hegde

. 2024. Circumventing concept erasure methods for text-to-image generative models//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-26

Pizzi

，Roy

S D

，Ravindra

S N

，Goyal

and Douze

. 2022. A self-supervised descriptor for image copy detection//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans，USA： IEEE： 14512-14522 ［DOI： 10.1109/CVPR52688.2022.01413］

Radford

，Kim

J W

，Hallacy

，Ramesh

，Goh

，Agarwal

，et al. 2021. Learning transferable visual models from natural language supervision//Proceedings of the 38th International Conference on Machine Learning. ［s.l.］： JMLR.org： 8748-8763

Radhakrishnan

，Belkin

and Uhler

. 2019. Memorization in overparameterized autoencoders//Proceedings of the ICML 2019 Workshop on Identifying and Understanding Deep Learning Phenomena. Long Beach，USA： OpenReview.net： 1-14

Ravikumar

，Soufleri

，Hashemi

and Roy

. 2024. Unveiling privacy，memorization，and input curvature links//Proceedings of the 41st International Conference on Machine Learning. Vienna，Austria： JMLR.org： #1716

Ren

，Li

Y X

，Zeng

S L

，Xu

，Lyu

，Xing

，et al. 2024. Unveiling and mitigating memorization in text-to-image diffusion models through cross attention//Proceedings of the 18th European Conference on Computer Vision. Milan，Italy： Springer： 340-356 ［DOI： 10.1007/978-3-031-72980-5_20］

Rombach

，Blattmann

，Lorenz

，Esser

and Ommer

. 2022. High-resolution image synthesis with latent diffusion models//Proceedings of 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans，USA： IEEE： 10674-10685 ［DOI： 10.1109/CVPR52688.2022.01042］

Ronneberger

，Fischer

and Brox

. 2015. U-Net： convolutional networks for biomedical image segmentation//Proceedings of 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich，Germany： Springer： 234-241 ［DOI： 10.1007/978-3-319-24574-4_28］

Ross

B L

，Kamkari

，Wu

T Z

，Hosseinzadeh

，Liu

Z Y

，Stein

，et al. 2025. A geometric framework for understanding memorization in generative models//Proceedings of the 13th International Conference on Learning Representations. Singapore，Singapore： OpenReview.net： 1-11

Schwarzschild

，Feng

Z L

，Maini

，Lipton

Z C

and Kolter

J Z

. 2024. Rethinking LLM memorization through the lens of adversarial compression//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： 1790

Shokri

，Stronati

，Song

C Z

and Shmatikov

. 2017. Membership inference attacks against machine learning models//Proceedings of the IEEE Symposium on Security and Privacy. San Jose，USA： IEEE： 3-18 ［DOI： 10.1109/SP.2017.41］

Somepalli

，Singla

，Goldblum

，Geiping

and Goldstein

. 2023a. Diffusion art or digital forgery？ Investigating data replication in diffusion models//Proceedings of 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition，Vancouver，Canada： IEEE： 6048-6058 ［DOI： 10.1109/CVPR52729.2023.00586］

Somepalli

，Singla

，Goldblum

，Geiping

and Goldstein

. 2023b. Understanding and mitigating copying in diffusion models//Proceedings of the 37th International Conference on Neural Information Processing Systems. New Orleans，USA： Curran Associates Inc.： #2071

Song

L W

，Shokri

and Mittal

. 2019. Membership inference attacks against adversarially robust deep learning models//Proceedings of 2019 IEEE Security and Privacy Workshops. San Francisco，USA： IEEE： 50-56 ［DOI： 10.1109/SPW.2019.00021］

Song

，Sohl-Dickstein

，Kingma

D P

，Kumar

，Ermon

and Poole

. 2021. Score-based generative modeling through stochastic differential equations//Proceedings of the 9th International Conference on Learning Representations. ［s.l.］： OpenReview.net： 1-36

Stanczuk

J P

，Batzolis

，Deveney

and Schönlieb

C B

. 2024. Diffusion models encode the intrinsic dimension of data manifolds//Proceedings of the 41st International Conference on Machine Learning. Vienna，Austria： JMLR.org： #1888

Steinke

，Nasr

and Jagielski

. 2023. Privacy auditing with one （1） training run //Proceedings of the 37th International Conference on Neural Information Processing Systems. New Orleans，USA： Curran Associates Inc.： #2143

Sun

M J

，Liu

，Bair

and Kolter

J Z

. 2024. A simple and effective pruning approach for large language models//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-23

Tsigler

and Bartlett

P L

. 2023. Benign overfitting in ridge regression. Journal of Machine Learning Research，24（1）： #123

van den Burg G and Williams C. 2021. On memorization in probabilistic deep generative models //Proceedings of the 35th International Conference on Neural Information Processing Systems. ［s.l.］： Curran Associates Inc.： #2138

Voigt P and Von dem Bussche A. 2017. The EU General Data Protection Regulation （GDPR）： A Practical Guide. Cham： Springer： 10-555

Wang

W H

，Sun

Y F

，Tan

Z T

and Yang

. 2024. Image copy detection for diffusion models//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #460

Wang

，Bovik

A C

，Sheikh

H R

and Simoncelli

E P

. 2004. Image quality assessment： from error visibility to structural similarity. IEEE Transactions on Image Processing，13（4）： 600-612 ［DOI： 10.1109/TIP.2003.819861］

Warner

S L

. 1965. Randomized response： a survey technique for eliminating evasive answer bias. Journal of the American Statistical Association，60（309）： 63-69 ［DOI： 10.2307/2283137］

Wei

J H

，Zhang

Y J

，Zhang

L Y

，Ding

，Chen

，Ong

K L

，et al. 2026. Memorization in deep learning： a survey. ACM Computing Surveys，58（4）： #98 ［DOI： 10.1145/3769076］

Wen

Y X

，Liu

Y C

，Chen

and Lyu

L J

. 2024. Detecting，explaining，and mitigating memorization in diffusion models//Proceedings of the 12th International Conference on Learning Representations. Vienna，Austria： OpenReview.net： 1-16

and Harandi

. 2024. Scissorhands： scrub data influence via connection sensitivity in networks//Proceedings of the 18th European Conference on Computer Vision. Milan，Italy： Springer： 367-384 ［DOI： 10.1007/978-3-031-72970-6_21］

Xie

X H

，Bian

J T

and Lai

J H

. 2022. Review on face liveness detection. Journal of Image and Graphics，27（1）： 63-87

谢晓华，卞锦堂，赖剑煌. 2022. 人脸活体检测综述. 中国图象图形学报，27（1）： 63-87 ［DOI： 10.11834/jig.210470］

Xiong

，Zhao

X D

，Pappu

and Song

. 2025. SoK： the landscape of memorization in LLMs： mechanisms，measurement，and mitigation ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/2507.05578.pdf

Q T

，Huang

，Yuan

，Guo

，Sun

，Wu

，et al. 2018. An empirical study on evaluation metrics of generative adversarial networks ［EB/OL］. ［2026-02-01］. https://arxiv.org/pdf/1806.07755.pdf

B H

，Kang

D Q

，Xie

X H

and Lai

J H

. 2025. Review of vision-based surface defect inspection methods with incomplete annotations. Journal of Image and Graphics，30（6）： 1661-1689

叶标华，康丹青，谢晓华，赖剑煌. 2025. 基于视觉的非完全标注表面缺陷检测综述. 中国图象图形学报，30（6）： 1661-1689 ［DOI： 10.11834/jig.240434］

Zhai

S F

，Chen

H R

，Dong

Y P

，Li

J J

，Shen

Q N

，Gao

Y S

，et al. 2024. Membership inference on text-to-image diffusion models via conditional likelihood discrepancy//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #2358

Zhang

C Y

，Bengio

，Hardt

，Mozer

M C

and Singer

. 2020. Identity crisis： memorization and generalization under extreme overparameterization//Proceedings of the 8th International Conference on Learning Representations. Addis Ababa，Ethiopia： OpenReview.net： 1-39

Zhang

C Y

，Bengio

，Hardt

，Recht

and Vinyals

. 2021. Understanding deep learning （still） requires rethinking generalization. Communications of the ACM，64（3）： 107-115 ［DOI： 10.1145/3446776］

Zhang

C Y

，Ippolito

，Lee

，Jagielski

，Tramèr

and Carlini

. 2023. Counterfactual memorization in neural language models//Proceedings of the 37th International Conference on Neural Information Processing Systems. New Orleans，USA： Curran Associates Inc.： #1708

Zhang

，Wang

，Xu

X Q

，Wang

Z Y

and Shi

. 2024a. Forget-Me-Not： learning to forget in text-to-image diffusion models//Proceedings of 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Seattle，USA： IEEE： 1755-1764 ［DOI： 10.1109/CVPRW63382.2024.00182］

Zhang

，Das

，Kamath

and Tramèr

. 2025. Position： membership inference attacks cannot prove that a model was trained on your data//Proceedings of 2025 IEEE Conference on Secure and Trustworthy Machine Learning. Copenhagen，Denmark： IEEE： 333-345 ［DOI： 10.1109/SaTML64287.2025.00025］

Zhang

，Lai

J H

，Xie

X H

and Chen

H X

. 2023. A summary on group re-identification. Journal of Image and Graphics，28（5）： 1225-1241

张权，赖剑煌，谢晓华，陈泓栩. 2023. 小股人群重识别研究进展. 中国图象图形学报，28（5）： 1225-1241 ［DOI： 10.11834/jig.220697］

Zhang

，Isola

，Efros

A A

，Shechtman

and Wang

. 2018. The unreasonable effectiveness of deep features as a perceptual metric//Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，USA： IEEE： 586-595 ［DOI： 10.1109/CVPR.2018.00068］

Zhang

Y M

，Chen

，Jia

J H

，Zhang

Y H

，Fan

C Y

，Liu

J C

，et al. 2024b. Defensive unlearning with adversarial training for robust concept erasure in diffusion models//Proceedings of the 38th International Conference on Neural Information Processing Systems. Vancouver，Canada： Curran Associates Inc.： #1158

Zhang

Y M

，Jia

J H

，Chen

A C

，Zhang

Y H

，Liu

J C

，et al. 2024c. To generate or not？ Safety-driven unlearned diffusion models are still easy to generate unsafe images ... for now//Proceedings of the 18th European Conference on Computer Vision. Milan，Italy： Springer： 385-403 ［DOI： 10.1007/978-3-031-72998-0_22］

2026年第31卷第10期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11834/jig.260095

接收时间：2026-02-11
首发时间：2026-10-30
出版时间：2026-10-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2026-02-11
修回日期：2026-05-28

基金

National Natural Science Foundation of China（12326618）；Guangdong Provincial Key Laboratory of Information Security Technology（2023B1212060026）

国家自然科学基金项目（12326618）；广东省信息安全技术重点实验室项目（2023B1212060026）

作者信息

¹　中山大学计算机学院，广州　510006

²　广东省信息安全技术重点实验室（中山大学），广州　510006

³　中山大学系统科学与工程学院，广州　510275

通讯作者:

赖剑煌，通信作者，男，教授，博士生导师，主要研究方向为计算机视觉与模式识别。E-mail：stsljh@mail.sysu.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgtxtxxb/CN/10.11834/jig.260095

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

量化方法	核心思路	评估视角与方法类别	适用阶段	计算消耗
影响函数法（Feldman，2020；Feldman和Zhang，2020）	利用独立训练的影子模型的聚合估计量作为影响得分	审计方、黑盒	预训练	大
梯度方差（Agarwal等，2022）	跟踪梯度方差以捕捉训练期间的记忆行为	审计方、白盒	预训练	中等
几何代理变量（Ravikumar等，2024）	利用模型记忆和训练中的一些变量的几何特征相联系	审计方、白盒	预训练/后训练	中等
图像复制指标（Zhang等，2018）	像素层面/结构层面/语义层面相似性捕获	审计方、黑/白盒	推理阶段	中等
隐私攻击法（Hu等，2022）	利用隐私攻击诱使模型输出隐私数据	攻击方、黑/白盒	推理阶段	大

量化方法

核心思路

评估视角与

方法类别

适用阶段

计算消耗

影响函数法（Feldman，2020；Feldman和Zhang，2020）

利用独立训练的影子模型的聚合估计量作为影响得分

审计方、黑盒

预训练

大

梯度方差（Agarwal等，2022）

跟踪梯度方差以捕捉训练期间的记忆行为

审计方、白盒

预训练

中等

几何代理变量（Ravikumar等，2024）

利用模型记忆和训练中的一些变量的几何特征相联系

审计方、白盒

预训练/后训练

中等

图像复制指标（Zhang等，2018）

像素层面/结构层面/语义层面相似性捕获

审计方、黑/白盒

推理阶段

中等

隐私攻击法（Hu等，2022）

利用隐私攻击诱使模型输出隐私数据

攻击方、黑/白盒

推理阶段

大

阶段	方法	数据集	模型	FID	SSCD	CLIP
预训练	DP-LDM （ϵ = 1）（Lyu等，2024）	CelebA	SD v1.4	21.1±0.2	-	-
DP-LDM （ϵ = 10）（Lyu等，2024）	CelebA	SD v1.4	14.3±0.1	-	-
推理	提示词优化（Somepalli等，2023a，b）	LAION	SD v1.4/2.0	-	0.3±0.1	0.28±0.03
注意力缩放（Ren等，2024）	LAION	SD v1.4/2.0	15.0±0.2	0.30	0.22
Token 扰动（Wen等，2024）	LAION	SD v2.1	18.0±1.0	0.5±0.1	-
微调/后训练	神经元检测（Hintersdorf等，2024）	LAION	SD v1.4	16.5±0.5	0.1±0.07	0.31±0.02
ESD（Gandikota等，2023）	LAION	SD v1.4	13.68	-	-
概念消除（Kumari等，2023）	-	SD v1.4	16.99±0.2	0.30	0.60 ± 0.02
SalUn（Fan等，2024）	Imagenette	SD v1.4	1.22	-	-
SISS（Alberti等，2025）	CelebA-HQ	SD v1.4	20.1	0.32	-

阶段

方法

数据集

模型

FID

SSCD

CLIP

预训练

DP-LDM （ϵ = 1）（Lyu等，2024）

CelebA

SD v1.4

21.1±0.2

DP-LDM （ϵ = 10）（Lyu等，2024）

CelebA

SD v1.4

14.3±0.1

推理

提示词优化（Somepalli等，2023a，b）

LAION

SD v1.4/2.0

0.3±0.1

0.28±0.03

注意力缩放（Ren等，2024）

LAION

SD v1.4/2.0

15.0±0.2

0.30

0.22

Token 扰动（Wen等，2024）

LAION

SD v2.1

18.0±1.0

0.5±0.1

微调/后训练

神经元检测（Hintersdorf等，2024）

LAION

SD v1.4

16.5±0.5

0.1±0.07

0.31±0.02

ESD（Gandikota等，2023）

LAION

SD v1.4

13.68

概念消除（Kumari等，2023）

SD v1.4

16.99±0.2

0.30

0.60 ± 0.02

SalUn（Fan等，2024）

Imagenette

SD v1.4

1.22

SISS（Alberti等，2025）

CelebA-HQ

SD v1.4

20.1

0.32