科学技术与工程

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	38.58	29.716 3	0.940 9
TV	0.52	29.736 6	0.941 0
VFCH	35.61	30.032 4	0.945 1
本文方法	16.77	30.115 4	0.946 2
文字损坏	AMLE	95.49	30.294 8	0.954 9
TV	0.95	30.274 9	0.954 4
VFCH	36.70	30.231 8	0.958 7
本文方法	17.75	30.666 6	0.962 5

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	38.58	29.716 3	0.940 9
TV	0.52	29.736 6	0.941 0
VFCH	35.61	30.032 4	0.945 1
本文方法	16.77	30.115 4	0.946 2
文字损坏	AMLE	95.49	30.294 8	0.954 9
TV	0.95	30.274 9	0.954 4
VFCH	36.70	30.231 8	0.958 7
本文方法	17.75	30.666 6	0.962 5

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.26	25.288 1	0.942 6
TV	0.94	25.292 5	0.942 7
VFCH	37.43	30.970 9	0.967 9
本文方法	18.08	31.131 8	0.968 1
文字损坏	AMLE	94.71	25.470 4	0.947 1
TV	0.95	25.451 9	0.946 2
VFCH	37.73	33.811 9	0.971 6
本文方法	18.77	35.405 6	0.979 6

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.26	25.288 1	0.942 6
TV	0.94	25.292 5	0.942 7
VFCH	37.43	30.970 9	0.967 9
本文方法	18.08	31.131 8	0.968 1
文字损坏	AMLE	94.71	25.470 4	0.947 1
TV	0.95	25.451 9	0.946 2
VFCH	37.73	33.811 9	0.971 6
本文方法	18.77	35.405 6	0.979 6

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.39	29.138 3	0.943 9
TV	0.95	33.535 7	0.948 9
VFCH	36.26	34.211 0	0.953 2
本文方法	17.25	34.320 4	0.954 1
文字损坏	AMLE	95.86	30.867 5	0.958 6
TV	0.96	34.309 9	0.959 8
VFCH	35.82	31.454 8	0.947 8
本文方法	18.09	35.685 6	0.968 2

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.39	29.138 3	0.943 9
TV	0.95	33.535 7	0.948 9
VFCH	36.26	34.211 0	0.953 2
本文方法	17.25	34.320 4	0.954 1
文字损坏	AMLE	95.86	30.867 5	0.958 6
TV	0.96	34.309 9	0.959 8
VFCH	35.82	31.454 8	0.947 8
本文方法	18.09	35.685 6	0.968 2

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	51.17	27.849 6	0.947 6
TV	0.62	27.864 8	0.947 8
VFCH	36.27	28.493 9	0.953 3
本文方法	17.38	28.881 1	0.956 4
文字损坏	AMLE	95.52	28.541 7	0.955 2
TV	0.96	28.524 6	0.955 1
VFCH	36.54	28.697 3	0.956 7
本文方法	17.81	29.585 7	0.963 5

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	51.17	27.849 6	0.947 6
TV	0.62	27.864 8	0.947 8
VFCH	36.27	28.493 9	0.953 3
本文方法	17.38	28.881 1	0.956 4
文字损坏	AMLE	95.52	28.541 7	0.955 2
TV	0.96	28.524 6	0.955 1
VFCH	36.54	28.697 3	0.956 7
本文方法	17.81	29.585 7	0.963 5

向量值偏微分方程约束控制的图像修复模型

PDF下载

彭红 ¹ , 周彬 ¹^,²^,^* , 孙艳 ¹ , 张凌海 ¹ , 魏嵬 ³

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(5): 2019-2026

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(5): 2019-2026

向量值偏微分方程约束控制的图像修复模型

全屏

彭红¹, 周彬¹^,²^,^*, 孙艳¹, 张凌海¹, 魏嵬³

作者信息

¹ 西南石油大学理学院, 成都 610500

² 西南石油大学人工智能研究院, 成都 610500

³ 西安理工大学计算机科学与工程学院, 西安 710048

彭红(1999—),女,汉族,四川成都人,硕士研究生。研究方向:优化建模与数值算法。E-mail:peng_hong@yeah.net。

通讯作者:

^*周彬(1982—),男,汉族,浙江浦江人,博士,教授。研究方向:模式识别,图像处理。E-mail:binzhou@swpu.edu.cn。

Vector-valued PDE-constrained Image Inpainting Model

Hong PENG¹, Bin ZHOU¹^,²^,^*, Yan SUN¹, Ling-hai ZHANG¹, Wei WEI³

Affiliations

¹ School of Science, Southwest Petroleum University, Chengdu 610500, China

² Institute of Artificial Intelligence, Southwest Petroleum University, Chengdu 610500, China

³ School of Computer Science and Engineering, Xi’an University of Technology, Xi’an 710048, China

出版时间: 2025-02-18 doi: 10.12404/j.issn.1671-1815.2309894

文章导航

摘要

收起

图像修复问题中,局部细节特征的辨识修复和全局特征的保护是至关重要的。基于分数阶偏微分方程的模型具有丰富的演化行为能力,在图像修复中能较好地理解图像细节并兼具一定的锐化作用,但也易出现不能准确辨识较大尺度特征和过度锐化等问题。为此提出以图像整体特征的总变差能量为目标函数,空间分数阶向量值Cahn-Hilliard方程为约束的最优控制模型,以达到局部细节修复和整体特征保持的均衡效果。通过L₂梯度流、H^-1梯度流和凸分裂设计非凸约束条件的数值计算格式,再结合分裂Bregman方法优化目标函数,并引入灰度级动态调整策略,保持灰度辨识能力的同时,进一步提升计算效率。数值实验表明,新模型修复结果的峰值信噪比(peak signal to noise ratio,PSNR)相较其他方法提升0.371 8~9.935 2 dB,结构相似指数(structural similarity,SSIM)表现出较强的竞争力,且在碎片破损的图像上更具效用;相较传统的分数阶方程模型,计算时间减少49.50%~52.91%。

关键词

图像修复 / 分数阶Cahn-Hilliard方程 / 分裂Bregman法 / 凸分裂 / 总变差 / 灰度级动态调整

Abstract

收起

In image inpainting, it is crucial that the identification and inpainting of local detail features and the preservation of global features. The models based on fractional-order partial differential equations were characterized by rich evolutionary behaviors, which allow image details to be effectively understood and a certain sharpening effect to be exhibited in image inpainting. However, issues such as inaccurate identification of large-scale features and over-sharpening are prone to be encountered. An optimal control model was proposed and the objective function was defined by the total variation energy of image global features and the constraint was formulated by a spatial fractional-order vector-valued Cahn-Hilliard equation, aiming to achieve a balanced effect between local detail restoration and preservation of global features. L₂ gradient flow, H^-1 gradient flow, and convex splitting were applied to design a numerical scheme for non-convex constraint conditions. And then the split bregman method was used to optimize the objective function with a dynamic grayscale adjustment strategy was introduced to maintain grayscale discrimination capability while enhancing computational efficiency. The numerical experiments demonstrate that the new model achieves an improvement on peak signal to noise ratio(PSNR) ranging from 0.371 8 dB to 9.935 2 dB compared to other methods, exhibiting strong competitiveness in terms of structural similarity(SSIM) and greater effectiveness on images with fragmental damages. Moreover, compared to traditional fractional-order equation models, the computational time is reduced by a factor of 49.50% to 52.91%.

Key words

image inpainting / fractional Cahn-Hilliard equation / split Bregman method / convex splitting / total variation / gray scale dynamic adjustment

引用本文

彭红, 周彬, 孙艳, 张凌海, 魏嵬. 向量值偏微分方程约束控制的图像修复模型. 科学技术与工程, 2025 , 25 (5) : 2019 -2026 . DOI: 10.12404/j.issn.1671-1815.2309894

Hong PENG, Bin ZHOU, Yan SUN, Ling-hai ZHANG, Wei WEI. Vector-valued PDE-constrained Image Inpainting Model[J]. Science Technology and Engineering, 2025 , 25 (5) : 2019 -2026 . DOI: 10.12404/j.issn.1671-1815.2309894

正文

收起

图像处理领域主要包括图像的分割、去噪、修复和压缩编码等。图像修复是一种从未损坏区域获取信息填充修补破损区块(目标)的技术^[1],可应用于许多实际领域,如旧物复原^[2-3]、证物修复^[4]、医学辅助^[4]等。围绕不同图像特征和修复技术原理,已产生众多研究成果,主要有基于实例的图像修复方法^[5]、基于偏微分方程的方法^[6-14]、基于深度学习的模型^[15-18]等。基于偏微分方程的图像修复模型一般通过非线性扩散等方式对损坏区域进行处理。具有保持边缘清晰、更好地恢复纹理和细节信息、以及较好的鲁棒性等优势,能够有效提高图像的质量和清晰度^[19-20]。因此,现将重点研究基于偏微分方程的非纹理图像修复模型。

Chan等^[6]将经典的全变差(total variation, TV)去噪模型拓展至图像修复。但是对大范围信息缺失的图像修复效果不佳,不能满足等照度线方向在损坏区域的连通性。引入考虑曲线结构的正则化项能量泛函,可以对TV修复模型进行有效扩展,即欧拉弹性泛函和曲率驱动扩散(curvature driven diffusion,CDD)模型^[7]。但当修复区域较大时,仍会产生模糊效果。

Burger等^[8]通过引入TV函数次梯度的四阶变体,提出TV-H-1修复模型,能够取得优于TV修复模型的结果。此后陆续有学者提出更多高阶偏微分方程模型应用于图像修复问题。Bertozzi等^[9-10]提出对二值图像有良好修复效果的Cahn-Hilliard(CH)方程模型。受益于高阶方程的更深层次特征表示能力,能够取得优异的修复效果,但计算代价较高。通过使用基于FFT的伪谱方法,有效减少了计算时间和计算存储。Novak等^[21]引入一种正则化分类器替代修正的Cahn-Hilliard方程中的双阱势函数,降低了计算复杂度和运行时间。Zou等^[11]基于Perona-Malik方程的平滑效应,将Perona-Malik方程引入Cahn-Hilliard方程,提出了一种四阶PDE修复模型。由于在保留振荡区域边缘方面,图像修复模型中使用的H^-1保真度项比使用L₂保真度项表现得更好。因此,Bai等^[22]提出了一种基于Ginzburg-Landau泛函和H^-1范数的图像修复模型。并基于标量辅助变量法(scalar auxiliary variable,SAV),得出所提出模型的数值格式。Kumar等^[23]引入图像的Hessian L²范数的平方作为正则化项,并通过傅里叶域中的凸分裂得到线性四阶偏微分方程的半离散格式,用于灰度图像修复。最近,Ben-loghfyry等^[24]利用时间分数Caputo导数的记忆效应来保证图像边缘和图像特征的清晰度。空间分数阶偏微分方程也常常被应用于图像修复问题,例如Lian等^[12]基于分数阶拉普拉斯算子奇异积分的定义,提出了两种模型分别用于无噪声和带噪声的图像修复。在一个以像素为中心的凸邻域上,给出一种适合于分数阶拉普拉斯算子的离散化形式,并能够在不同水平的图像细节区域上,通过自适应边缘检测器控制扩散修复行为。但是,获取特征信息依赖于所设定的凸邻域,缺少对整体特征的把握。现有许多文献研究了空间分数阶Cahn-Hilliard方程的数值解法^{[13-14,24-25]}。Bosch等^[4]在提出了一个基于Cahn-Hilliard方程的多值图像修复模型,将二维Cahn-Hilliard修复模型推广到灰度值图像,为方便起见,后文简称为向量分数Cahn-Hilliard修复模型/VFCH。数值结果表明,采用凸分裂方法和傅里叶谱方法,使得峰值信噪比(peak signal to noise ratio,PSNR)、结构相似指数(structural similarity,SSIM)^[27]和图像质量显著增加。向量分数Cahn-Hilliard灰度值图像修复模型对于大块范围信息缺失的图像有较好的修复效果,但在损坏较大和灰度级数量较多的情况下,仍会出现修复效率较低的问题。Brkic等^[26]通过构造线性系统求解分数阶Cahn-Hilliard修复模型,能够有效降低修复计算代价。

综上,现研究兼顾整体特征和局部细节,提出一种以向量分数阶Cahn-Hilliard方程为控制约束条件的总变差极小化图像修复模型,在通过多灰度级相位实现细节特征辨识修复的同时,优化整体特征保持效果,并引入灰度级动态调整策略以提高计算效率。

1 相关工作

收起

1.1 TV修复模型

针对图像边缘的修复问题,Chan和Shen基于Rudin和Osher的全变差去噪模型^[28],提出了极小化泛函^[6],表达式为

(1)$J(\boldsymbol{u})=\int_{\Omega}|\nabla \boldsymbol{u}| \mathrm{d} x+\frac{\omega_{0}}{2} \int_{\Omega \backslash D}(\boldsymbol{u}-\boldsymbol{f})^{2} \mathrm{~d} x$

式(1)中:ω₀为拉格朗日乘子;Ω⊂R²为图像区域;f为给定待修复图像;D⊂Ω为待修复域。修复结果可由关于u:Ω×(0,T)→R的演化方程计算得到,即

(2)$\frac{\partial \boldsymbol{u}}{\partial t}=\nabla\left(\frac{\nabla \boldsymbol{u}}{|\nabla \boldsymbol{u}|}\right)-\omega(\boldsymbol{u}-\boldsymbol{f})$

式(2)中:u满足Neumann边界条件;ω为保真度参数,用于平衡演化修复项和保真项的作用程度。

文献[6]中的相关实验结果表明该TV修复模型对于小尺度损坏的图像有较好的作用,且能同时取得一定的去噪效果。但由于TV模型的修复机制是用最短的直线距离来连接断裂的等照度线,并且仅根据梯度模决定扩散速率,因此在一些梯度模相近的平坦区域,会过度平滑图像的细节部分,使得边缘或纹理区域出现阶梯效应,导致修复效果不佳。

1.2 向量分数阶Cahn-Hilliard修复模型

Cahn-Hilliard方程在模拟两相之间的界面运动时自动惩罚高曲率,这使其应用于图像修复时沿等照度线从受损区域边界处开始平滑地向内延伸。给定空间$H^{-1}(\Omega)=\left\{u^{\prime} \in\left[H^{1}(\Omega)\right]^{\prime} \mid\left\langle u^{\prime}, 1\right\rangle=0\right\}$及内积定义$\left\langle v_{1}, v_{2}\right\rangle_{H^{-1}}=\int_{\Omega} \nabla(-\Delta)^{-1} v_{1} \nabla(-\Delta)^{-1} v_{2}$,则Ginzburg-Landau泛函及其H^-1梯度可表示为

(3)$E(\boldsymbol{u})=\int_{\Omega}\left\{\frac{\gamma \varepsilon}{2}|\nabla \boldsymbol{u}|^{2}+\frac{1}{\varepsilon} \varphi(\boldsymbol{u})\right\} \mathrm{d} x$

(4)$\operatorname{grad}_{H^{-1}} E(\boldsymbol{u})=(-\Delta) \operatorname{grad}_{L^{2}} E(\boldsymbol{u})$

式中:grad_L²E(u)=εΔu-ψ'(u)/ε;Δ为标准拉普拉斯算子。CH方程可以看作上述泛函的H^-1梯度流^[29-30]。

Bosch和Stoll在向量值Cahn-Hilliard方程^[30-31]基础上提出了空间分数阶灰度值修复模型^[4]。给定灰度级向量g=$({g}_{1},{g}_{2},\dots,{g}_{N}{)}^{T}$,2≤N≤256,通过二值向量u=$({u}_{1},{u}_{2},\dots,{u}_{N}{)}^{T}$表示像素值u=ug。于是修正的向量值CH方程可以表示为

(5)$\frac{\partial \boldsymbol{u}}{\partial t}=-\Delta\left[\varepsilon \Delta u-\frac{1}{\varepsilon} P \psi^{\prime}(\boldsymbol{u})\right]+\omega(\boldsymbol{f}-\boldsymbol{u})$

且u_i(i=1,2,…,N)满足Gibbs单纯形,即

(6)$\sum_{i=1}^{N} u_{i}(x, t)=1, u_{i}(x, t) \geqslant 0, i=1,2, \cdots, N$

式(6)中:ψ(u)=$\sum _{i=1}^{N}{u}_{i}^{2}(1-{u}_{i}{)}^{2}$/4。ε>0控制界面厚度,正交投影Pξ=ξ-(1ξ)1/N;f含义同u。

该模型将灰度通道化,并在各个通道上联合运用修正的Cahn-Hilliard方程模型进行二值图像修复^[33]。Bosch和Stoll提出的向量分数Cahn-Hilliard修复模型具有分数阶微分方程的非局部和空间非均匀性质,可以被视为经典修补模型的正则化,并克服了过度平滑效应。相关实验结果表明,该模型能够提高锐度和修复质量。

2 　向量值CH方程约束的总变差极小化

收起

2.1 新模型及数值格式

TV模型在修复图像时产生的结果中可能出现明显的阶梯状边缘或块状伪影。为了减轻阶梯效应,可以采用一些改进的方法,如引入额外的约束条件或先验信息、使用变分模型的变形等。这些方法可以在保持边缘的同时尽量减少阶梯效应,并获得边缘更平滑、更自然的图像结果。而向量值分数阶Cahn-Hilliard修复模型因其空间分数阶形式具有局部特征辨识能力,在图像修复中能够有效地还原细节特征。因此构建以总变差能量泛函为目标函数,向量值CH方程式(5)为约束条件的修复模型。应用变分极小化,新模型可表示为

(7)$\min E(\boldsymbol{u})=\|\nabla \boldsymbol{u}\|_{1}+\frac{\omega}{2}\|\boldsymbol{u}-\boldsymbol{f}\|_{2}$

(8)$\begin{array}{l} \text { s. t. }\\ \frac{\partial \boldsymbol{u}}{\partial t}=-\Delta\left[\varepsilon \Delta \boldsymbol{u}-\frac{1}{\varepsilon} P \psi^{\prime}(\boldsymbol{u})\right]+\omega(\boldsymbol{f}-\boldsymbol{u}) \end{array}$

设定初始条件和边界条件之后,可以通过交替求解约束控制方程[式(8)]和极小化目标函数[式(7)]来求解该模型。

2.1.1 约束控制方程[式(8)]求解

引入能量泛函,表达式为

(9)$\varepsilon_{1}(\boldsymbol{u})=\int_{\Omega}\left[\frac{\varepsilon}{2} \sum_{i=1}^{N}\left|\nabla u_{i}\right|^{2}+\frac{1}{\varepsilon} P \psi(\boldsymbol{u})\right] \mathrm{d} x$

(10)$\varepsilon_{2}(\boldsymbol{u})=\int_{\Omega} \frac{\omega}{2} \sum_{i=1}^{N}\left(f_{i}-u_{i}\right)^{2} \mathrm{~d} x$

可知式(8)由凹泛函ε₁的H^-1梯度流和凸泛函ε₂的L²梯度流叠加而成。可进一步拆分ε₁=ε_1c-ε_1e,可得

(11)$\left\{\begin{array}{l} \varepsilon_{1 \mathrm{c}}(\boldsymbol{u})=\int_{\Omega}\left(\frac{\varepsilon}{2} \sum_{i=1}^{N}\left|\nabla u_{i}\right|^{2}+\frac{C_{1}}{2} \sum_{i=1}^{N} u_{i}^{2}\right\} \mathrm{d} x \\ \varepsilon_{1 \mathrm{e}}(\boldsymbol{u})=\int_{\Omega}\left[-\frac{1}{\varepsilon} P \psi(\boldsymbol{u})+\frac{C_{1}}{2} \sum_{i=1}^{N} u_{i}^{2}\right] \mathrm{d} x \end{array}\right.$

拆分ε₂=ε_2c-ε_2e,可得

(12)$\left\{\begin{array}{l}{\epsilon }_{2c}\left(u\right)={\int }_{\Omega }\left(\frac{{C}_{2}}{2}\sum _{i=1}^{N}{u}_{i}^{2}\right)dx\\ {\epsilon }_{2c}\left(u\right)={\int }_{\Omega }\left[-\frac{\omega }{2}\sum _{i=1}^{N}({f}_{i}-{u}_{i}{)}^{2}+\frac{{C}_{2}}{2}\sum _{i=1}^{N}{u}_{i}^{2}\right]dx\end{array}\right.$

常数C₁和C₂是足够大的正数,使得拆分后各项严格凸。离散计算格式表示为

(13)$\begin{aligned} \frac{\boldsymbol{u}^{(n)}-\boldsymbol{u}^{(n-1)}}{\boldsymbol{\tau}}= & -\nabla_{H^{-1}}^{\mathrm{pro1}}\left\{\boldsymbol{\varepsilon}_{1 \mathrm{c}}\left[\boldsymbol{u}^{(n)}\right]-\boldsymbol{\varepsilon}_{1 \mathrm{e}}\left[\boldsymbol{u}^{(n-1)}\right]\right\}- \\ & \nabla_{L^{2}}\left\{\varepsilon_{2 \mathrm{c}}\left[\boldsymbol{u}^{(n)}\right]-\varepsilon_{2 \mathrm{e}}\left[u^{(n-1)}\right]\right\} \end{aligned}$

将标准拉普拉斯算子Δ扩展到分数拉普拉斯-${(-\Delta)}^{\frac{\zeta }{2}}$(0≤ζ≤2),得到向量值分数阶CH修复模型的数值格式为

(14)$\begin{array}{l} \frac{u_{i}^{(n)}-u_{i}^{(n-1)}}{\tau}+\varepsilon \Delta^{\zeta} u_{i}^{(n)}+C_{1}(-\Delta)^{\frac{\zeta}{2}} u_{i}^{(n)}+C_{2} u_{i}^{(n)}= \\ \quad-\frac{1}{\varepsilon}(-\Delta)^{\frac{\zeta}{2}}\left\{\frac{\partial \psi}{\partial u_{i}}\left[\boldsymbol{u}^{(n-1)}\right]\right\}+\omega\left[f_{i}-u_{i}^{(n-1)}\right]+ \\ \frac{1}{\varepsilon N}(-\Delta)^{\frac{\zeta}{2}}\left\{\sum_{j=1}^{N} \frac{\partial \psi}{\partial u_{j}}\left[\boldsymbol{u}^{(n-1)}\right]\right\}+ \\ C_{1}(-\Delta)^{\frac{\zeta}{2}} u_{i}^{(n-1)}+C_{2} u_{i}^{(n-1)} \end{array}$

进一步由傅里叶谱方法,得到迭代格式为

(15)${\stackrel{\wedge }{u}}_{i}^{\left(n\right)}$=$\frac{{\lambda }_{\alpha,\beta }^{\frac{\zeta }{2}}[{\stackrel{\wedge }{V}}_{1}^{(n-1)}+{C}_{1}{\stackrel{\wedge }{u}}_{i}^{(n-1)}]}{\frac{1}{\tau }+\epsilon {\lambda }_{}^{\zeta }+{C}_{1}{\lambda }_{}^{\frac{\zeta }{2}}+{C}_{2}}$+$\frac{{\stackrel{\wedge }{V}}_{2}^{(n-1)}+\frac{1}{\tau }{\stackrel{\wedge }{u}}_{i}^{(n-1)}}{\frac{1}{\tau }+\epsilon {\lambda }_{}^{\zeta }+{C}_{1}{\lambda }_{}^{\frac{\zeta }{2}}+{C}_{2}}$

(16)$\boldsymbol{V}_{1}^{(n-1)}=-\frac{1}{\varepsilon} \frac{\partial \psi}{\partial u_{i}}\left[\boldsymbol{u}^{(n-1)}\right]+\frac{1}{\varepsilon N} \sum_{j=1}^{N} \frac{\partial \psi}{\partial u_{j}}\left[\boldsymbol{u}^{(n-1)}\right]$

(17)$\boldsymbol{V}_{2}^{(n-1)}=\omega \boldsymbol{f}_{i}+\left(C_{2}-\omega\right) \boldsymbol{u}_{i}^{(n-1)}$

式(11)中:${\stackrel{\wedge }{u}}_{i}$为u_i的傅立叶变换;λ为拉普拉斯算子的标准正交特征函数相对应的特征值。由傅里叶反变换计算得到u⁽ⁿ⁾,于是有

(18)$u^{k-1}=\boldsymbol{u}^{(n)} \boldsymbol{g}$

2.1.2 极小化目标函数[式(7)]

将目标函数表示为

(19)$\left\{\begin{array}{l}\underset{u}{min}\left(={d}_{1}{=}_{1}+={d}_{2}{=}_{1}+\frac{\omega }{2}=u-f{=}_{2}^{2}\right)\\ s.t. {d}_{1}={u}_{x1},{d}_{2}={u}_{x2}\end{array}\right.$

应用拉格朗日乘子法,得到无约束形式为

(20)$\begin{array}{r} \min _{u, \boldsymbol{d}_{1}, \boldsymbol{d}_{2}}\left(\left\|\boldsymbol{d}_{1}\right\|_{1}+\left\|\boldsymbol{d}_{2}\right\|_{1}+\frac{\omega}{2}\|\boldsymbol{u}-\boldsymbol{f}\|_{2}^{2}+\right. \\ \left.\frac{\lambda}{2}\left\|\boldsymbol{d}_{1}-\boldsymbol{u}_{x 1}\right\|_{2}^{2}+\frac{\lambda}{2}\left\|\boldsymbol{d}_{2}-\boldsymbol{u}_{x 2}\right\|_{2}^{2}\right) \end{array}$

分裂Bregman方法求解

(21)$\begin{array}{l} \left(u^{k}, d_{1}^{k}, d_{2}^{k}\right)=\underset{\boldsymbol{u}, d_{1}, d_{2}}{\operatorname{argmin}}\left(\left\|\boldsymbol{d}_{1}\right\|_{1}+\left\|\boldsymbol{d}_{2}\right\|_{1}+\right. \\ \quad \frac{\boldsymbol{\omega}}{2}\|\boldsymbol{u}-\boldsymbol{f}\|_{2}^{2}+\frac{\boldsymbol{\lambda}}{2}\left\|\boldsymbol{d}_{1}-\boldsymbol{u}_{x 1}-\boldsymbol{b}_{x 1}^{k-1}\right\|_{2}^{2}+ \\ \left.\quad \frac{\boldsymbol{\lambda}}{2}\left\|\boldsymbol{d}_{2}-\boldsymbol{u}_{x 2}-\boldsymbol{b}_{x 2}^{k-1}\right\|_{2}^{2}\right) \end{array}$

(22)$\left\{\begin{array}{l}{b}_{x1}^{k}={b}_{x1}^{k-1}+({u}_{x1}^{k}-{d}_{1}^{k})\\ {b}_{x2}^{k}={b}_{x2}^{k-1}+({u}_{x2}^{k}-{d}_{2}^{k})\end{array}\right.$

进一步通过Gauss-Seidel迭代得到u、d₁、d₂的计算格式为

(23)${u}_{}^{k}$=$\frac{\lambda }{\omega +4\lambda }$(4${u}_{}^{k-1}$+${\Delta }_{1}^{-}{b}_{{x}_{1}}^{k-1}$+${\Delta }_{2}^{-}{b}_{{x}_{2}}^{k-1}$-${\Delta }_{1}^{-}{d}_{1}^{k-1}$-${\Delta }_{2}^{-}{d}_{2}^{k-1}$)+$\frac{\omega }{\omega +4\lambda }$f

(24)$\left\{\begin{array}{l}{d}_{1}^{k}=TRUN{C}_{1/\lambda }({u}_{{x}_{1}}^{k}+{b}_{{x}_{1}}^{k-1})\\ {d}_{2}^{k}=TRUN{C}_{1/\lambda }({u}_{{x}_{2}}^{k}+{b}_{{x}_{2}}^{k-1})\end{array}\right.$

式(15)中:

(25)$\operatorname{TRUNC}_{\varepsilon}(z)=\left\{\begin{array}{ll} z-\varepsilon, & z \in(\varepsilon,+\infty) \\ 0, & z \in[-\varepsilon, \varepsilon] \\ \varepsilon+z, & z \in(-\infty, \varepsilon) \end{array}\right.$

2.2 灰度级向量的动态调整

向量值分数阶Cahn-Hilliard修复模型对于图像含有少量色彩的情形,可以实现较好的修复效果。但若对256个灰度级进行修复时,每一次迭代需要在各个灰度级上进行处理,计算代价高昂。

考虑到迭代算法修复图像是个渐进的过程,因此可以在修复的初始阶段,通过较大步长和少量灰度级进行快速而粗略的修复;随后在后续阶段,逐步增加灰度级数量以及减小步长,使用更丰富的图像信息来修复细节部分。这样的灰度级动态调整,可以达到进一步减少计算量的目的。待修复图像f的灰度级向量为g₀=$(\mathrm{0,1},2,\dots,{L}_{0}{-1)}^{T}$,调整后的图像灰度值f_low表达式为

(26)$f_{\text {low }}=\frac{L_{0}}{L-1}\left\lfloor\frac{L-1}{L_{0}} f\right\rfloor$

式(15)中:L为设定的灰度级数量;⌊」表示向下取整。与L相对应的灰度级向量设定为

(27)$\boldsymbol{g}_{\text {low }}=\left(0, \frac{L_{0}}{L-1}, \frac{2 L_{0}}{L-1}, \cdots, L_{0}\right)^{\mathrm{T}}$

本文算法描述如下。

算法:向量值CH方程约束的总变差极小化。

输入:待修复图像f₀,i=0。

输出:修复后图像u。

步骤1 根据式(27)设定的灰度级向量${g}_{low}^{i}$、步长和式(19),收缩待修复图像f_i的灰度向量范围,得到f_low。

步骤2 将f_low向量化为u⁽ⁿ^-1),通过式(15)和傅里叶反变换得到u⁽ⁿ⁾,代入式(18)得到u^k^-1。

步骤3 将u^k^-1代入式(22)~式(24)得到u^k。

步骤4 判断是否满足停止准则。若不满足,则重复步骤2和步骤3;若满足,令i=i+1,并导出所获得的修复图像f_i,回到步骤1。

本算法采用的停止准则为

(28)$\frac{={u}^{k}-{u}^{k-1}{=}_{2}}{={u}^{k-1}{=}_{2}}$≤ε

后续实验如无特别说明,均采用ϵ两步方法:第一步取ϵ=2×10^-4,用以平滑图像信息;第二步取ϵ=2×10^-5,用以锐化图像轮廓。

通过步骤2和步骤3以及满足ϵ两步方法所设定的停止标准后得到修复图像f_i,将其中修复域的信息与给定待修复图像叠加,作为下一轮修复的初始图像。

3 实验结果及分析

收起

客观的量化指标可以对修复结果进行有效评价,使用如下评价指标^[27]。

(1)峰值信噪比(PSNR)。

(29)$\operatorname{PSNR}=10 \lg \frac{\left(2^{L}-1\right)^{2}}{\mathrm{MSE}}$

式(29)中:MSE为原始图像和修复后的图像之间的均方误差。

(2)结构相似度(SSIM)。

(30)$\operatorname{SSIM}(x, y)=\frac{\left(2 \mu_{x} \mu_{y}+C_{1}\right)\left(2 \sigma_{x y}+C_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+C_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+C_{2}\right)}$

式(30)中:x为原始图像;y为修复之后的图像;μ为均值;σ为标准差或协方差。因为结构相似度结合了亮度(平均图像强度)、对比度(强度方差)和结构(强度协方差),更符合人类的视觉感知。PSNR越大,SSIM的值越接近1,则说明图像修复效果越好。以上指标作为客观标准,可以辅助评价修复结果。

实验使用MATLAB R2023a作为工具,在Intel Core i7-12700H处理器(2.3 GHz),16 GB内存的PC机上实现。

如图1(a)~图1(d)所示,给出了实验所采用的轮船图像(Boat)、甜椒图像(Peppers)、秋景图像(Autumn)和岩石图像(Rocks),大小皆为256×256。碎片损坏和文字损坏分别如图1(e)、图1(f)所示。通过绝对最小化Lipschitz扩展(AMLE)修复模型^[34]、TV模型^[6]、向量值分数阶Cahn-Hilliard模型^[4]和本文模型进行实验比较。

选取了4组示例,图2~图5的各列分别展示了破损图像和不同的修复效果。AMLE模型和TV模型使用停止准则[式(28)],并且取ϵ=2×10^-5。向量值分数阶CH模型和本文模型,设定参数ω₀=10⁹,ε=10和ζ=1.2,停止准则采用2.2节中的ϵ两步方法。

表1~表4列出了不同的修复方法对不同损坏进行修复的总迭代次数、PSNR、SSIM。图6~图9给出了不同修复方法作用于破损图像的PSNR折线对比和SSIM折线对比。

分析实验结果可知,本文模型对碎片破损情形进行修复,数值结果的PSNR/SSIM值相对其余3种模型具有明显优势(PSNR提升至少5.67%,SSIM提升至少1.02%);文字破损情形下修复结果PSNR/SSIM值不弱于向量值分数阶CH模型(VFCH)且相对其余2种模型具有优势(PSNR提升至少7.59%,SSIM提升至少1.17%)。文字破损的非凸形状较为严重,抑制了本文模型的作用机制。

相对于轮船图像的丰富细节,甜椒图像、秋景图像、岩石图像具有一定的分块特性或者局部相似特性,这样的特征修复在本文模型的总变差极小引导下更易取得良好效果(PSNR相对VFCH模型提升3.01%以上)。

从计算代价上来看,本文模型的数值求解效率相较于AMLE模型和向量值分数阶Cahn-Hilliard修复模型的数值求解效率有一定提升。另外,TV修复模型在使用时需设定最大迭代次数。而所提出模型能够修复不同类型的图像损坏,稳定地产生较高质量的修复结果。

从修复图像的视觉效果上看,4种方法整体效果较好。AMLE模型和TV模型相对缺乏局部细节的辨识能力;而向量值分数阶Cahn-Hilliard模型(VFCH)具有分数阶作用机制,能够更有效辨识局部细节,但缺乏全局引导;本文模型在VFCH基础上增加了总变差极小化引导,能够兼顾局部细节辨识和全局特征一致性保护,提升恢复效果。

综上分析,所提出的修复模型相较已有模型在效果和效率上具有一定的优势和竞争力,并且在解决不同的图像破损情况时体现出一定的鲁棒性。

4 结论

收起

提出了一个向量值Cahn-Hilliard方程约束的总变差极小化的修复模型。其优化目标和约束控制方程兼顾了全局特征恢复和局部细节恢复之间的平衡,所采取的灰度值向量动态调整策略,有助于改善向量分数Cahn-Hilliard修复模型计算代价过大的问题。数值示例表明,与已有模型方法相比,本文方法在修复结果质量和鲁棒性上具有一定优势。

基金

收起

四川省科技计划(2021YJ0084)
四川省自然科学基金(2025ZNSFSC0496)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Segel

L A

. Mathematics applied to continuum mechanics[M]. Philadelphia: Society for Industrial and Applied Mathematics, 1977.

[2]

Braverman

. Photoshop retouching handbook[M]. Foster City: IDG Books Worldwide, 1998.

[3]

Halim

, Kumar

B R

. An anisotropic PDE model for image inpainting[J]. Computers and Mathematics with Applications, 2020, 79(9): 2701-2721.

[4]

Bosch

, Stoll

. A fractional inpainting model based on the vector-valued Cahn-Hilliard equation[J]. SIAM Journal on Imaging Sciences, 2015, 8(4): 2352-2382.

[5]

Newson

, Almansa

, Gousseau

, et al. Non-local patch-based image inpainting[J]. Image Processing On Line, 2017, 7: 373-385.

[6]

Chan

T F

, Shen

. Mathematical models for local non-texture inpaintings[J]. SIAM Journal on Applied Mathematics, 2002, 62(3): 1019-1043.

[7]

Chan

T F

, Shen

. Non-texture inpainting by curvature-driven diffusions[J]. Journal of Visual Communication and Image Representation, 2001, 12(4): 436-449.

[8]

Burger

, He

, Schonlieb

C B

. Cahn-Hilliard inpainting and a generalization for gray value images[J]. SIAM Journal on Imaging Sciences, 2009, 2(4): 1129-1167.

[9]

Bertozzi

, Esedoglu

, Gillette

. Analysis of a two-scale Cahn-Hilliard model for binary image inpainting[J]. Multiscale Modeling & Simulation, 2007, 6(3): 913-936.

[10]

Bertozzi

, Esedoglu

, Gillette

. Inpainting of binary images using the Cahn-Hilliard equation[J]. IEEE Transactions on Image Processing, 2006, 16(1): 285-291.

[11]

Zou

. An image inpainting model based on the mixture of Perona-Malik equation and Cahn-Hilliard eqution[J]. Journal of Applied Mathematics and Computing, 2021, 66(1/2): 21-38.

[12]

Lian

, Fu

, Su

, et al. The fractional Laplacian based image inpainting[J]. Inverse Problems and Imaging, 2023, 18(2): 326-365.

[13]

Zhang

, Zhang

G F

. Fast image inpainting strategy based on the space-fractional modified Cahn-Hilliard equations[J]. Computers and Mathematics with Applications, 2021, 102: 1-14.

[14]

Carrillo

J A

, Kalliadasis

, Liang

, et al. Enhancement of damaged-image prediction through Cahn-Hilliard image inpainting[J]. Royal Society Open Science, 2021, 8(5): 201294.

[15]

Goodfellow

, Pouget-Abadie

, Mirza

, et al. Generative adversarial networks[J]. Communications of the ACM, 2020, 63(11): 139-144.

[16]

Zhao

, Mo

, Lin

, et al. UCTGAN: diverse image inpainting based on unsupervised cross-space translation[C]// In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 5741-5750.

[17]

Lashgari

, Rabbani

, Plonka

, et al. Reconstruction of connected digital lines based on con-strained regularization[J]. IEEE Transactions on Image Processing, 2022, 31: 5613-5628.

[18]

邱小锋, 丁友东, 梁冰, 等. 基于递归特征估计的图像修复算法[J]. 科学技术与工程, 2022, 22(3): 1098-1106.

Qiu

Xiaofeng

, Ding

Youdong

, Liang

Bing

, et al. Image inpainting algorithm based on recursive feature estimation[J]. Science Technology and Engineering, 2022, 22(3): 1098-1106.

[19]

Elharrouss

, Almaadeed

, Al-Maadeed

, et al. Image inpainting: a review[J]. Neural Processing Letters, 2020, 51: 2007-2028.

[20]

Dong

, Jiang

, Shen

. Image restoration: wavelet frame shrinkage, nonlinear evolution pdes, and beyond[J]. Multiscale Modeling and Simulation, 2017, 15(1): 606-660.

[21]

Novak

, Reinic

. Shock filter as the classifier for image inpainting problem using the Cahn-Hilliard equation[J]. Computers and Mathematics with Applications, 2022, 123: 105-114.

[22]

Bai

, Sun

, Shen

, et al. A Ginzburg-Landau-H^-1 model and its SAV algorithm for image inpainting[J]. Journal of Scientific Computing, 2023, 96(2): 40.

[23]

Kumar

BVR

, Halim

. A linear fourth-order pde-based gray-scale image inpainting model[J]. Computational & Applied Mathematics, 2019, 38(6): 1-21.

[24]

Ben-loghfyry

, Hakim

. Caputo fractional-time of a modified Cahn-Hilliard equation for the inpainting of binary images[J]. Journal of Mathematical Modeling, 2023, 11(2): 357-373.

[25]

Huang

, Li

, Sun

H W

, et al. Preconditioners with symmetrized techniques for space fractional Cahn-Hilliard equations[J]. Journal of Scientific Computing, 2022, 92(2): 41.

[26]

Brki$\stackrel{\text{'}}{c}$

A L

, Mitrovi$\stackrel{\text{'}}{c}$

, Novak

, et al. On the image inpainting problem from the view point of a nonlocal Cahn-Hilliard type equation[J]. Journal of Advanced Research, 2020, 25: 67-76.

[27]

Wang

, Bovik

A C

, Sheikh

H R

, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[28]

Rudin

L I

, Osher

, Fatemi

. Nonlinear total variation based noise removal algorithms[J]. Physica D: Nonlinear Phenomena, 1992, 60(1/4): 259-268.

[29]

Blank

, Butz

, Garcke

. Solving the Cahn-Hilliard variational inequality with a semi-smooth Newton method[J]. ESAIM: Control, Optimisation and Calculus of Variations, 2011, 17(4): 931-954.

[30]

Novick-cohen

, Segel

L A

. Nonlinear aspects of the Cahn-Hilliard equation[J]. Physica D: Nonlinear Phnomena, 1984, 10(3): 277-298.

[31]

Elliott

C M

, Luckhaus

. A generalised diffusion equation for phase separation of a multicomponent mixture with interfacial free energy[J]. Primary Care and Community Psychiatry, 1991, 12(1): 23-31.

[32]

Eyre

D J

. Systems of Cahn-Hilliard equations[J]. SIAM Journal on Applied Mathematics, 1993, 53(6): 1686-1712.

[33]

张旻. 几类分数阶偏微分方程快速解法及应用[D]. 兰州: 兰州大学, 2021.

Zhang

Min

. Fast solutions and applications of several fractional partial differential equations[D]. Lanzhou: Lanzhou University, 2021.

[34]

Caselles

, Morel

J M

. An axiomatic approach to image interpolation[J]. IEEE Transactions on Image Processing, 1998, 7(3): 376-386.

2025年第25卷第5期

PDF下载

349

144

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2309894

接收时间：2023-12-15
首发时间：2025-07-29
出版时间：2025-02-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-12-15
修回日期：2024-11-10

基金

四川省科技计划(2021YJ0084)

四川省自然科学基金(2025ZNSFSC0496)

作者信息

¹ 西南石油大学理学院, 成都 610500

² 西南石油大学人工智能研究院, 成都 610500

³ 西安理工大学计算机科学与工程学院, 西安 710048

通讯作者:

^*周彬(1982—),男,汉族,浙江浦江人,博士,教授。研究方向:模式识别,图像处理。E-mail:binzhou@swpu.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2309894

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	38.58	29.716 3	0.940 9
TV	0.52	29.736 6	0.941 0
VFCH	35.61	30.032 4	0.945 1
本文方法	16.77	30.115 4	0.946 2
文字损坏	AMLE	95.49	30.294 8	0.954 9
TV	0.95	30.274 9	0.954 4
VFCH	36.70	30.231 8	0.958 7
本文方法	17.75	30.666 6	0.962 5

损坏类型

修复方法

CPU时间/s

PSNR/dB

SSIM

碎片损坏

AMLE

38.58

29.716 3

0.940 9

0.52

29.736 6

0.941 0

VFCH

35.61

30.032 4

0.945 1

本文方法

16.77

30.115 4

0.946 2

文字损坏

AMLE

95.49

30.294 8

0.954 9

0.95

30.274 9

0.954 4

VFCH

36.70

30.231 8

0.958 7

本文方法

17.75

30.666 6

0.962 5

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.26	25.288 1	0.942 6
TV	0.94	25.292 5	0.942 7
VFCH	37.43	30.970 9	0.967 9
本文方法	18.08	31.131 8	0.968 1
文字损坏	AMLE	94.71	25.470 4	0.947 1
TV	0.95	25.451 9	0.946 2
VFCH	37.73	33.811 9	0.971 6
本文方法	18.77	35.405 6	0.979 6

损坏类型

修复方法

CPU时间/s

PSNR/dB

SSIM

碎片损坏

AMLE

94.26

25.288 1

0.942 6

0.94

25.292 5

0.942 7

VFCH

37.43

30.970 9

0.967 9

本文方法

18.08

31.131 8

0.968 1

文字损坏

AMLE

94.71

25.470 4

0.947 1

0.95

25.451 9

0.946 2

VFCH

37.73

33.811 9

0.971 6

本文方法

18.77

35.405 6

0.979 6

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	94.39	29.138 3	0.943 9
TV	0.95	33.535 7	0.948 9
VFCH	36.26	34.211 0	0.953 2
本文方法	17.25	34.320 4	0.954 1
文字损坏	AMLE	95.86	30.867 5	0.958 6
TV	0.96	34.309 9	0.959 8
VFCH	35.82	31.454 8	0.947 8
本文方法	18.09	35.685 6	0.968 2

损坏类型

修复方法

CPU时间/s

PSNR/dB

SSIM

碎片损坏

AMLE

94.39

29.138 3

0.943 9

0.95

33.535 7

0.948 9

VFCH

36.26

34.211 0

0.953 2

本文方法

17.25

34.320 4

0.954 1

文字损坏

AMLE

95.86

30.867 5

0.958 6

0.96

34.309 9

0.959 8

VFCH

35.82

31.454 8

0.947 8

本文方法

18.09

35.685 6

0.968 2

损坏类型	修复方法	CPU时间/s	PSNR/dB	SSIM
碎片损坏	AMLE	51.17	27.849 6	0.947 6
TV	0.62	27.864 8	0.947 8
VFCH	36.27	28.493 9	0.953 3
本文方法	17.38	28.881 1	0.956 4
文字损坏	AMLE	95.52	28.541 7	0.955 2
TV	0.96	28.524 6	0.955 1
VFCH	36.54	28.697 3	0.956 7
本文方法	17.81	29.585 7	0.963 5

损坏类型

修复方法

CPU时间/s

PSNR/dB

SSIM

碎片损坏

AMLE

51.17

27.849 6

0.947 6

0.62

27.864 8

0.947 8

VFCH

36.27

28.493 9

0.953 3

本文方法

17.38

28.881 1

0.956 4

文字损坏

AMLE

95.52

28.541 7

0.955 2

0.96

28.524 6

0.955 1

VFCH

36.54

28.697 3

0.956 7

本文方法

17.81

29.585 7

0.963 5