北京邮电大学学报

图像	文献[2]	文献[3]	文献[5]	文献[10]	所提算法
图1	30.8467	0.9551	27.0757	0.9134	26.4867	0.9393	29.1951	0.9459	30.6334	0.9528
图2	28.7738	0.9650	28.3414	0.9641	28.5632	0.9674	28.7379	0.9663	28.9583	0.9748
图3	28.2443	0.9599	24.2839	0.9431	26.8164	0.9607	24.7407	0.9459	29.3845	0.9676

图像	文献[2]	文献[3]	文献[5]	文献[10]	所提算法
图1	30.8467	0.9551	27.0757	0.9134	26.4867	0.9393	29.1951	0.9459	30.6334	0.9528
图2	28.7738	0.9650	28.3414	0.9641	28.5632	0.9674	28.7379	0.9663	28.9583	0.9748
图3	28.2443	0.9599	24.2839	0.9431	26.8164	0.9607	24.7407	0.9459	29.3845	0.9676

图像	文献[2]	文献[3]	文献[5]	文献[10]	所提算法
图1	16.6216	0.8153	16.9886	0.7795	17.0678	0.7641	17.0923	0.8014	21.8379	0.8333
图2	21.9962	0.8711	21.5159	0.8559	21.4731	0.8566	21.8464	0.9020	30.2969	0.9612

图像	文献[2]	文献[3]	文献[5]	文献[10]	所提算法
图1	16.6216	0.8153	16.9886	0.7795	17.0678	0.7641	17.0923	0.8014	21.8379	0.8333
图2	21.9962	0.8711	21.5159	0.8559	21.4731	0.8566	21.8464	0.9020	30.2969	0.9612

图像	IE
图1	7.2208	7.2139	7.2181	7.2247	7.2252
图2	6.9403	6.9380	6.9365	6.9417	6.9881

图像	IE
图1	7.2208	7.2139	7.2181	7.2247	7.2252
图2	6.9403	6.9380	6.9365	6.9417	6.9881

结构引导扩散生成式古壁画修复算法研究

PDF下载

陈永 ¹^,² , 张世龙 ¹ , 杜婉君 ¹ , 范志欣 ¹

北京邮电大学学报 | 研究报告 2025,48(5): 144-150

收起

北京邮电大学学报 | 研究报告 2025, 48(5): 144-150

结构引导扩散生成式古壁画修复算法研究

全屏

陈永¹^,², 张世龙¹, 杜婉君¹, 范志欣¹

作者信息

^1．兰州交通大学　电子与信息工程学院，兰州　730070

^2．兰州交通大学　甘肃省人工智能与图形图像处理工程研究中心，兰州　730070

陈永（1979—），男，教授，博士生导师，邮箱：edukeylab@126.com。

Research on Ancient Mural Diffusion Generative Inpainting Algorithm Based on Structure-Guided

Yong CHEN¹^,², Shilong ZHANG¹, Wanjun DU¹, Zhixin FAN¹

Affiliations

^1.School of Electronic and Information Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China

^2.Gansu Provincial Engineering Research Center for Artificial Intelligence and Graphics and Image Processing, Lanzhou Jiaotong University, Lanzhou 730070, China

doi: 10.13190/j.jbupt.2024-174

文章导航

摘要

收起

针对现有深度学习方法在修复壁画时，存在结构语义利用不充分和细节特征修复结果欠佳的问题，提出一种结构引导扩散生成式古壁画修复算法。首先，构建由门控卷积与快速傅里叶残差块组成的壁画结构重建模块，利用重建后边缘结构引导破损壁画修复，以克服结构语义修复利用不足的问题。其次，提出基于随机微分方程的生成式扩散模块，对待修复的壁画图像进行正向扩散处理。再次，设计掩码增强的逆向迭代重建模块，增强壁画破损区域与完好区域的语义一致性，提升壁画细节修复能力。最后，在敦煌壁画数据集上进行数字化修复实验。实验结果表明，所提算法能够有效完成壁画修复，并且主客观评价均优于比较算法。

关键词

壁画修复 / 扩散模型 / 结构引导 / 掩码增强 / 生成式修复

Abstract

收起

Aiming at the problems of inadequate utilization of structural semantics and poor repair results of detailed features in the existing deep learning methods for repairing ancient murals, a structure-guided diffusion generative algorithm was proposed. Firstly, a mural structure reconstruction module composed of gated convolution and fast Fourier residual block is constructed, and the edge structure after reconstruction is used to guide the repair of damaged murals, so as to overcome the problem of insufficient utilization of structural semantic repair. Then, a generative diffusion module based on stochastic differential equation is proposed, which performs forward diffusion processing on the mural image to be repaired by stochastic differential equation. Next, a mask-enhanced backward iterative reconstruction module is designed to enhance the semantic consistency between the damaged area and the intact area of the mural, and improve the repair ability of the detailed features of the mural. Finally, the digital inpainting experiments and analysis are carried out on the Dunhuang mural data set. The experimental results show that the proposed algorithm can effectively complete the mural restoration, and the objective evaluation indicators are better than the comparison algorithms.

Key words

mural inpainting / diffusion modeling / structural guidance / mask enhancement / generative inpainting

引用本文

陈永, 张世龙, 杜婉君, 范志欣. 结构引导扩散生成式古壁画修复算法研究. 北京邮电大学学报, 2025 , 48 (5) : 144 -150 . DOI: 10.13190/j.jbupt.2024-174

Yong CHEN, Shilong ZHANG, Wanjun DU, Zhixin FAN. Research on Ancient Mural Diffusion Generative Inpainting Algorithm Based on Structure-Guided[J]. Journal of Beijing University of Posts and Telecommunications, 2025 , 48 (5) : 144 -150 . DOI: 10.13190/j.jbupt.2024-174

正文

收起

敦煌莫高窟是世界上规模最大、内容最丰富的石窟壁画宝库。然而，由于恶劣的自然环境和人为破坏等因素，壁画出现了不同程度的劣化、脱落、起甲、酥碱等病害，亟待保护。利用数字化修复可以更好地保护古壁画文化遗产，已成为当前的研究热点^[1]。目前，基于深度学习的修复方法因其强大的特征学习能力，可以避免单独使用传统修复方法无法完成语义特征学习的问题。例如，Guo等^[2]提出了基于条件纹理和结构双重生成的修复方法，但其采用普通卷积进行特征提取，存在细节特征提取不充分的问题。Li等^[3]提出一种基于循环特征推理的图像修复网络，但该方法采用级联标准卷积，易导致出现细节丢失现象。Chen等^[4]提出了文本引导的古代壁画跨模态联合修复算法，但该方法需要采用外部文本信息引导修复。近年来，扩散模型（DM，diffusion model）逐渐应用于图像生成领域，如Lugmayr等^[5]提出了基于去噪扩散概率模型的修复方法，但该方法在修复过程中对破损区域的感知不足，导致修复结果出现边界不连贯的问题。Rombach等^[6]设计了一种潜在扩散模型修复方法，但该方法采用自编码器不能准确地捕捉细节信息，修复结果易出现模糊现象。Xia等^[7]提出了一种先验引导扩散修复模型，但该过程中过度依赖先验表示，导致修复结果细节不佳。综上所述，古壁画图像修复时存在结构语义利用不充分和细节特征修复结果欠佳的问题，提出结构引导扩散生成式古壁画修复算法。

1　所提算法

收起

1.1　整体网络框架

整体网络框架如图1所示。模型的工作原理为：首先，将壁画破损结构通过结构重建模块，得到重构后的边缘结构，将其作为逆向去噪过程的引导信息；然后，利用正向扩散过程向待修复壁画中引入高斯噪声分布形成纯噪声图像；最后，设计改进的逆向去噪网络预测噪声分布，并利用掩码增强机制增加修复过程中对破损区域的感知能力，实现对缺失区域的纹理细节修复，从而完成壁画图像修复。

1.2　结构重建模块

在壁画修复过程中，由于缺乏结构信息引导，扩散模型无法准确重建细节。为克服上述问题，设计结构重建模块，其结构如图2所示。首先，采用Canny边缘检测算子提取原始壁画的边缘结构，将掩码图像与边缘结构按通道进行连接，形成受损边缘结构，形成结构重建网络的输入，过程表示如下：

其中：

表示受损边缘结构，x_gt表示Canny算子提取到的边缘结构，M表示掩码图像，☉表示Hadamard积。

其次，设计由3层门控卷积构成的编码器对受

损壁画边缘结构进行特征提取，其过程表示如下：

其中：V为特征值，U为门控值，W_con为卷积滤波器，ϕ（·）为线性整流（ReLU，rectified linear unit）激活函数，σ（·）为Sigmoid激活函数。

在图2结构重建模块中，采用基于通道级快速傅里叶变换（FFT，fast Fourier transform）^[8]进行特征学习重构，将捕获的边缘结构特征按通道分为局部和全局分支进行处理。局部分支使用大小为3×3的卷积对边缘结构特征进行操作，更新局部结构特征。全局分支对结构特征执行傅里叶变换，获取壁画结构的全局上下文信息，并在频谱域中更新特征，对获取的结构特征进行学习后重构，其过程如下：

1）首先，对壁画边缘结构特征应用实数FFT，并在通道维度上连接实部和虚部，表示如下：

2）其次，在频域对壁画结构进行1×1卷积，并通过归一化层与ReLU激活函数，其过程表示如下：

3）最后，用逆变换恢复空间结构，其过程表示如下：

其中：ℝ表示特征张量的实部，ℂ表示特征张量的虚部，H为特征图高度，W为宽度，C为通道数。

1.3　生成式扩散模块

由于普通卷积仅具有局部相关性，难以充分捕捉和利用壁画图像中的全局特征信息生成细节特征。针对上述不足，提出基于扩散模型的壁画修复模块。

首先，向待修复壁画y₀逐步添加高斯噪声ε～N（0，I），其中N（0，I）表示正态分布，其转化为纯噪声图像，过程如图3所示：

在图3中，通过均值回归随机微分方程定义该过程中每个时间步的壁画状态^[9]，其过程表示如下：

其中：μ_y表示掩码图像与噪声的组合，t∈[0，T]表示时间步，θ_t与η_t是随时间变化的正参数，θ_t表示均值回归的速度，η_t表示扩散过程中的随机波动率，ω是一个标准的布朗运动过程。

1.4　掩码增强逆向重构模块

1.4.1　逆向去噪重构

在完成对壁画图像进行正向扩散加噪后，对其进行逆向去噪完成修复，其过程如图4所示。

在图4中，逐步去除壁画中的噪声，并通过不断调整图像的状态，恢复出其受损结构和细节，可以通过反向随机微分方程（SDE，stochastic differential equation）表示如下：

其中：

表示反向标准布朗运动过程，q_t（y）表示边缘概率密度分布，Δ _yln q_t（y）表示边缘概率密度分布的梯度，dt代表时间步长。

1.4.2　结构引导的逆向去噪模块

在图4逆向去噪重构过程中，由于缺乏结构信息的有效控制，易出现推理误差的问题。因此，利用结构信息引导逆向去噪网络，以提高修复壁画图像的质量，结构如图5所示。

在图5中，设计逆向去噪网络

估计去噪过程中每个时间步的SDE中得分函数Δ _yln q_t（y）的值，利用其获取每个时间步的噪声分布dy，以逐步消除不同扩散步长下的噪声，并更新当前时间步的壁画特征状态。同时，将更新噪声分布的壁画图像作为第t =T-1时刻逆向去噪过程的输入，对下1个时间步的壁画状态进行推理，逐步完成对破损壁画纹理细节特征的修复，其过程可以通过贝叶斯公式表示如下：

其中：q（y_t-₁|y_t，x_re）表示逆扩散过程中在y_t与x_re条件下的y_t-₁的概率分布，y_t和y_t-₁表示反向去噪过程中不同时间步的壁画图像。

同时，设计多尺度空间自适应归一化层（SPADE，spatially-adaptive denormalization）以更好地利用结构特征引导细节修复，如图6所示。

在图6中，将重建后的边缘结构传递至SPADE层，以融合来自主干网络的壁画特征图，具体过程如图7所示。首先，对输入的壁画边缘结构进行卷积操作，在通道维度上进行归一化。其次，对其进行标准化。最后，与中间层特征逐元素相乘与相加，实现对边缘结构特征与壁画特征的融合，其过程表示如下：

其中：

表示中间特征层的输出，

表示中间特征层的输入，k表示网络第k层，Conv_γ（·）与Conv_β（·）表示将边缘结构x_re转换为缩放与偏差值的映射函数，

与

表示在位置（h_k，ω_k）上像素在不同通道像素的统计平均值和方差，h_k∈1，2，…，H_k表示特征图的高，C_k为通道数，ω_k∈1，2，…，W_k表示特征图的宽。

1.4.3　掩码融合增强

最后，由于原始扩散模型缺乏对破损区域与完好区域的有效感知，易将无效区域像素扩散至完好区域，影响修复效果。为了克服上述不足，进一步设计了掩码融合机制，提升壁画破损区域与完好区域的语义一致性约束，如图8所示。

首先，利用掩码编码分支对掩码进行特征提取操作获得掩码特征，其过程表示如下：

其中：F_M表示每层编码输出的掩码特征，M表示掩码图像，I与b表示权重与偏置，*为卷积操作，∂（·）表示激活函数，H（·）表示下采样操作。

其次，通过特征融合层进行融合，网络中间层特征与掩码特征进行逐元素相乘。再次，将掩码特征与跳跃连接传递的特征进行逐元素相乘操作。最后，将2者结果进行拼接操作，得到掩码融合机制的输出特征，其过程表示如下：

其中：F′表示输入特征，F_S表示跳跃连接特征，F_M表示掩码特征，Cat[·]表示拼接操作，F_OUT表示输出特征。

1.5　损失函数

在结构重建模块中，利用L₁损失函数来计算修复壁画边缘结构和真实结构之间的距离，其公式如下：

其中：x_re为重建后边缘结构图，x_gt为真实边缘结构图，‖·‖₁为L₁范数。

L_FM重建损失函数主要用于约束结构重建过程，使其修复的边缘特征更接近真值，其公式如下：

其中：N_i为第i层的通道数目，

表示判别器。

在逆向去噪网络阶段，采用对抗损失衡量壁画结构特征与逆向重构过程的相关性，其公式如下：

其中：y_t和y_t-₁表示反向去噪过程中不同时间步的壁画图像，x_re为重建后壁画边缘结构。

因此，模型的总损失函数公式可以表示为

其中：λ_L1和λ_FM分别为L₁损失和特征匹配损失对应的正则化参数。

2　实验结果与分析

收起

为了验证所提算法的有效性，选取高清壁画图像作为数据集的来源，并对其进行数据扩展后形成自制敦煌壁画数据集，数据集共包括11000张壁画图像。同时，与文献[2]纹理结构双生成修复方法、文献[3]循环特征推理修复方法、文献[5]基于去噪概率扩散模型、文献[10]基于特征均衡化的互编解码器修复方法进行对比。

2.1　人为添加随机掩码修复实验

首先，进行人为添加随机掩码修复实验，如图9所示。其中，图9（c）为文献[2]纹理结构双生成算法修复结果，可以看出，该方法修复后存在内容模糊的问题。图9（d）为文献[3]循环特征推理修复结果，如第1幅壁画佛光部分出现结构断裂问题。图9（e）为文献[5]基于去噪概率扩散模型修复方法的结果，从中可以看出，第3幅图中存在结构断裂现象。图9（f）为文献[10]纹理与结构特征均衡化方法修复结果，可以看出，该方法修复结果中出现了明显的修复残留。图9（g）为所提算法的修复结果，从结果中看出，相较于对比方法所提修复方法效果更好，视觉效果更加连贯。

为了验证所提算法的客观评价性能，采用峰值信噪比（PSNR，peak signal-to-noise ratio）和结构相似性（SSIM，structural similarity）对图9修复结果进行评价，结果如表1所示。上述指标值越大，表示修复效果越好。可以看出，所提算法均优于对比算法。

2.2　中心掩码壁画修复实验

其次，进行人为添加大区域中心破损修复实验，修复结果如图10所示。其中，从2幅壁画图像修复结果可以看出，文献[2]算法的修复结果存在明显的内容模糊现象，文献[3]、文献[5]和文献[10]的修复结果中出现严重阶梯块效应与马赛克现象，对比方法均未能完成有效的修复，而所提算法的修复效果更好，结构连贯并且纹理细节清晰。同样地，采用PSNR和SSIM对图10进行定量评价，如表2所示，所提算法同样取得了更好的性能。

2.3　真实破损壁画修复实验

最后，进行真实破损敦煌壁画修复实验，如图11所示。对于第1幅壁画，文献[3]和文献[5]方法修复效果较差，出现破损区域修复未完成现象。对于第2幅壁画图像，文献[2]、文献[3]、文献[5]和文献[10]算法的修复结果中，蓝色破损区域存在修复后掩码残留现象和修复不彻底的问题，而所提算法较好地完成了破损区域的修复。

真实破损壁画图像缺少相应的标准参考图像，一般采用信息熵（IE，information entropy）进行客观评价，其值越大，表明修复越清晰。从表3看出，所提算法值最大，从而验证了所提算法对于真实壁画修复的有效性。

3　结束语

收起

针对现有深度学习方法修复壁画过程中，结构语义利用不充分和细节修复结果欠佳的问题，提出结构引导扩散生成式古壁画修复算法。设计了门控卷积和快速傅里叶残差块壁画结构重建模块，利用重建后边缘结构引导破损壁画修复。通过正向SDE进行壁画图像的正向扩散，并设计了掩码增强模块，利用掩码编码分支提取特征信息，提升受损区域与完好区域的语义一致性，最后设计基于反向SDE的逆向迭代重构模块，实现对破损区域的修复，提升对细节特征的修复能力，以减少细节特征信息丢失。数字化修复实验表明，所提算法取得了更好的修复效果和评价性能。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

REN

H I

, SUN

, ZHAO

, et al. Dunhuang murals image restoration method based on generative adversarial network[J]. Heritage Science, 2024, 12(1): 39-59.

[2]

GUO

X F

, YANG

H Y

, HUANG

. Image inpainting via conditional texture and structure dual generation[C]//International Conference on Computer Vision, Montreal, QC: ICCV, 2021: 14114-14123.

[3]

J Y

, WANG

, ZHANG

L F

, et al. Recurrent feature reasoning for image inpainting[C]//Conference on Computer Vision and Pattern Recognition, Seattle, WA:CVPR, 2020: 7757-7765.

[4]

CHEN

, DU

W J

, ZHANG

S L

. A text guided cross modal joint inpainting algorithm for ancient murals[J]. Expert Systems with Applications, 2024, 258: 125152.

[5]

LUGMAYR

, DANELLJAN

, ROMERO

, et al. RePaint: Inpainting using denoising diffusion probabilistic models[C]//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA, 2022: 11451-11461.

[6]

ROMBACH

, BLATTMANN

, LORENZ

, et al. High-resolution image synthesis with latent diffusion models[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 10674-10685.

[7]

XIA

, ZHANG

Y L

, WANG

S Y

, et al. DiffIR: Efficient diffusion model for image restoration[C]//2023 IEEE/CVF International Conference on Computer Vision (ICCV), 2023: 13049-13059.

[8]

SUVOROV

, LOGACHEVA

, MASHIKHIN

, et al. Resolution-robust large mask inpainting with Fourier convolutions[C]//Winter Conference on Applications of Computer Vision, Waikoloa, HI: IEEE, 2022: 3172-3182.

[9]

LUO

Z W

, GUSTAFSSON

F K

, ZHAO

, et al. Image restoration with mean reverting stochastic differential equations[EB/OL]. 2023-01-27. https://arxiv.org/pdf/2301.11699.

[10]

LIU

H Y

, JIANG

, SONG

Y B

, et al. Rethinking image inpainting via a mutual encoder-decoder with feature equalizations[C]//European Conference on Computer Vision, Glasgow, UK, 2020: 725-741.

2025年第48卷第5期

PDF下载

147

引用本文

BibTeX

文章信息

doi: 10.13190/j.jbupt.2024-174

接收时间：2024-09-06
首发时间：2026-04-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-09-06

基金

作者信息

^1．兰州交通大学　电子与信息工程学院，兰州　730070

^2．兰州交通大学　甘肃省人工智能与图形图像处理工程研究中心，兰州　730070

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/bjyddxxb/CN/10.13190/j.jbupt.2024-174

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

图像	文献[2]		文献[3]		文献[5]		文献[10]		所提算法
图像	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM	PSNR/dB	SSIM
图1	30.8467	0.9551	27.0757	0.9134	26.4867	0.9393	29.1951	0.9459	30.6334	0.9528
图2	28.7738	0.9650	28.3414	0.9641	28.5632	0.9674	28.7379	0.9663	28.9583	0.9748
图3	28.2443	0.9599	24.2839	0.9431	26.8164	0.9607	24.7407	0.9459	29.3845	0.9676