科学技术与工程

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base1	28.314	0.831	0.150 8	3.925 4
Base1+sk(2)	29.769	0.860	0.102 7	3.699 8
Base1+sk(3)	29.804	0.861	0.110 3	3.674 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base1	28.314	0.831	0.150 8	3.925 4
Base1+sk(2)	29.769	0.860	0.102 7	3.699 8
Base1+sk(3)	29.804	0.861	0.110 3	3.674 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base2	29.142	0.837	0.128 9	3.846 6
Base2+ sk multiscale residual	29.769	0.860	0.102 7	3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base2	29.142	0.837	0.128 9	3.846 6
Base2+ sk multiscale residual	29.769	0.860	0.102 7	3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base3	29.651	0.849	0.121 5	3.993 6
Base3+U-net	29.769	0.860	0.102 7	3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base3	29.651	0.849	0.121 5	3.993 6
Base3+U-net	29.769	0.860	0.102 7	3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Bicubic	27.977	0.811	0.330 0	7.619 5
SRCNN^[1]	29.456	0.865	0.232 0	6.138 2
VDSR^[3]	29.937	0.870	0.274 0	5.981 7
EDSR^[12]	30.252	0.879	0.268 0	5.630 3
SRGAN^[10]	27.968	0.814	0.161 0	4.031 3
MLGE^[11]	28.381	0.815	0.136 0	4.019 0
RWSA^[14]	28.603	0.823	0.135 0	3.818 0
本文模型	29.769	0.860	0.102 7	3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Bicubic	27.977	0.811	0.330 0	7.619 5
SRCNN^[1]	29.456	0.865	0.232 0	6.138 2
VDSR^[3]	29.937	0.870	0.274 0	5.981 7
EDSR^[12]	30.252	0.879	0.268 0	5.630 3
SRGAN^[10]	27.968	0.814	0.161 0	4.031 3
MLGE^[11]	28.381	0.815	0.136 0	4.019 0
RWSA^[14]	28.603	0.823	0.135 0	3.818 0
本文模型	29.769	0.860	0.102 7	3.699 8

基于自适应卷积与联合损失函数的人脸图像超分辨率重建

PDF下载

李培育 , 张雅丽 ^* , 张奕博 , 赵益辰

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(6): 2442-2452

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(6): 2442-2452

基于自适应卷积与联合损失函数的人脸图像超分辨率重建

全屏

李培育, 张雅丽^*, 张奕博, 赵益辰

作者信息

中国人民公安大学信息与网络安全学院, 北京 100038

李培育(1998—),男,汉族,河南信阳人,硕士研究生。研究方向:图像超分辨率重建、安全防范技术。E-mail:1448393699@qq.com。

通讯作者:

^* 张雅丽(1977—),女,汉族,山西大同人,硕士,副教授。研究方向:安全防范技术与智能视频技术。E-mail:zhangyl_mail@163.com。

Face Image Super-resolution Reconstruction Based on Adaptive Convolution and Joint Loss Function

Pei-yu LI, Ya-li ZHANG^*, Yi-bo ZHANG, Yi-chen ZHAO

Affiliations

College of Information and Cyber Security, People’s Public Security University of China, Beijing 100038, China

出版时间: 2025-02-28 doi: 10.12404/j.issn.1671-1815.2403052

文章导航

摘要

收起

针对当前人脸图像超分辨率重建算法模型卷积单一、感受野不足、单判别网络反馈信息不精确等问题,设计了一种基于自适应卷积与联合损失函数的算法。模型使用生成对抗网络架构,生成器方面,使用自适应卷积构造双路残差块并进一步组成高效的残差组,能自主学习在不同感受野下提取到的特征权重并补充单一支路遗漏的信息。判别器方面使用Vgg与U-net架构网络作为双判别网络,并使用双判别结果计算对抗损失,该损失与内容损失、感知损失组成联合损失函数。在celeba数据集上的实验表明,该算法与RWSA算法相比峰值信噪比(peak signal noise ratio, PSNR)值提高1.166 dB,结构相似度(structure similarity, SSIM)值提高0.037,学习感知图像块相似度(learned perceptual image patch similarity, LPIPS)值优化0.033,感知因子(perceptual index, PI)指标优化0.119,与其他多种主流算法相比在图像细节清晰度方面具有优势。

关键词

超分辨率重建 / 自适应卷积 / 联合损失函数 / 生成对抗网络 / 卷积神经网络

Abstract

收起

Content Aiming at the problems of single convolution model, insufficient Receptive field and inaccurate feedback information of single discriminant network in current face image super-resolution reconstruction algorithm, an algorithm based on adaptive convolution and joint Loss function was designed. A generation adversarial network architecture was used by the model. On the generator side, adaptive convolution was used to construct dual path residual blocks and further form efficient residual groups. It can independently learn feature weights extracted under different receptive fields and supplement missing information from a single branch. The subpixel convolution layers were used to complete quadruple reconstruction of face images. In terms of discriminators, Vgg and U-net architecture networks were used as dual discriminant networks, and dual discriminant results were used to calculate adversarial losses. The losses, content losses, and perceptual losses form a joint loss function. Experiments on the Celeba dataset show that compared with RWSA, this algorithm improves PSNR by 1.166 dB, SSIM by 0.037, LPIPS by 0.033, and PI by 0.119, compared with other mainstream algorithms, it has advantages in image detail clarity.

Key words

super-resolution reconstruction / adaptive convolution / joint loss function / generate countermeasure / convolutional neural network

引用本文

李培育, 张雅丽, 张奕博, 赵益辰. 基于自适应卷积与联合损失函数的人脸图像超分辨率重建. 科学技术与工程, 2025 , 25 (6) : 2442 -2452 . DOI: 10.12404/j.issn.1671-1815.2403052

Pei-yu LI, Ya-li ZHANG, Yi-bo ZHANG, Yi-chen ZHAO. Face Image Super-resolution Reconstruction Based on Adaptive Convolution and Joint Loss Function[J]. Science Technology and Engineering, 2025 , 25 (6) : 2442 -2452 . DOI: 10.12404/j.issn.1671-1815.2403052

正文

收起

近年来,各行业对于提升图像清晰度有很大需求,公安实战应用中希望将监控中得到的低分辨率人脸图像变得更具识别性,医学诊断等其他领域也希望使用的图像质量更好。图像超分辨率重建技术可以提高质量差的图像分辨率同时减少图像中的噪声。

目前,深度学习广泛用于图像超分辨率重建领域,Dong等^[1]使用卷积神经网络完成图像超分辨率重建,并将重建部分的工作从网络前端调到网络尾端^[2],有效降低了网络中间层的计算复杂度。Kim等^[3]加深了网络的结构,使用更多的卷积层来提取更丰富的特征,并使用了残差网络解决深层卷积带来的训练困难等问题。Tai等^[4]提出一种使用多记忆模块加强不同层次信息利用的算法。与之相似的是,Tong等^[5]提出的基于密集块的算法,将中间层的残差块所提取的特征都加权到后面残差块中,充分利用了低分辨率图像的信息,提高了模型精度。Zhang等^[6]在网络中加入通道注意力,使得网络在提取特征时对重要性不同的通道信息有所取舍。之后Woo等^[7]补充了空间注意力机制,增加了网络对于空间信息的利用。通道和空间注意机制极大地改进了一般的重建方法,这激励了研究人员探索它们在人脸超分辨率重建中的应用,其中具有代表性的是引入了通道注意力的E-SupResNet模型^[8]与引入空间注意力的SPARNet模型^[9],使得网络在提取特征时对重要性不同的通道信息与空间信息有所取舍,进一步提高了重建算法的精度。为了解决普通卷积网络重建图像过于光滑的问题,Ledig等^[10]在重建网络之外加入了判别网络,在对抗学习中提高图像的感知质量,MLGE模型^[11]不仅设计判别器来区分人脸图像, 而且应用人脸图像的边缘映射来重建人脸图像。Lim等^[12]对生成网络进行了改进,去除BN层来获得质量更高的图像。Wang等^[13]提出一种将密集网络与生成对抗网络相结合的算法,在生成器网络中使用密集模块,网络性能更好。Aakerberg等^[14]首先估计低分辨率人脸下采样的参数,如模糊核、噪声和压缩,然后生成具有估计参数的人脸图像对用于模型的训练。Deng等^[15]提出一种多尺度残差块改进的SRGAN模型,提取图像的全局和局部信息,提升模型效果。Tong等^[16]针对现有超分辨率模型提取惨层特征不足的问题,提出了一种多尺度特种融合方法,提升了图像重建质量。

以往基于生成对抗网络的算法仅以Vgg(visual geometry group)网络作为判别器,在判别过程中会缺少对局部特征的注意,并且特定卷积神经网络模型中的普通卷积具有固定的感受野,在设计网络模型时只能通过多次实验来人为选取较为合适的卷积核大小,这不仅耗费大量的时间与计算机资源,而且人为选取很难穷尽所有卷积核大小之间的权重组合,这导致最终设计的模型往往不是理论上最优越的。

因此,现提出基于自适应卷积与联合损失函数的人脸图像超分辨率重建算法,构造生成对抗网络的架构,基于自适应卷积设计生成器,每个自适应卷积在提取特征时具有自适应的感受野,能够通过网络输入的特征来学习调节内部各卷积核的权重大小。使用残差学习策略将多路卷积单元构造成高效的特征提取残差块,并使用子像素卷积来重建得到高分辨率人脸图像。同时使用Vgg架构网络与U-net架构网络作为双判别器,能分别从整体与局部角度对人脸图像进行判别,将双判别器判别的结果作为判别损失,与像素损失、特征损失共同组成联合损失函数,共同约束生成器的重建输出。将本文提出的基于自适应卷积与联合损失函数的人脸超分辨率重建算法在celeba人脸数据集^[17]上进行重建,以验证本文算法重建的人脸图像的质量和识别效果。

1 设计方法

收起

1.1 网络整体框架

本文设计的人脸图像超分辨率重建算法网络结构主要由一个生成器G与Vgg架构判别器D_Vgg、U-net架构判别器D_U-net组成。算法进行模型训练的过程如图1所示,其中低分辨率(low resolution, LR)图像由高分辨率(high resolution, HR)图像下采样得到,将LR图像输入G网络中,经过卷积神经网络重建过程生成新的超分辨率(super resolution, SR)图像,将SR图像与HR图像分别输入到两个判别器D_Vgg与D_U-net中进行提取特征、真假判别,将双判别器输出的判别结果共同组成损失函数约束生成与判别网络的优化训练。

1.2 生成器结构

本文网络模型的生成器总体结构如图2所示。其中浅层特征提取模块主要由一个卷积层与Relu激活函数^[18]组成,将输入的低分辨率图像(low resolution,LR)提取特征得到浅层特征图,将浅层特征图作为残差组模块的输入,并计算得到深层特征,将浅层特征与深层特征进行特征融合作为上采样模块的输入,得到高分辨率图像,计算过程为

(1)

${I}^{\mathrm{H}\mathrm{R}}={f}_{\mathrm{u}\mathrm{p}}\left[{f}_{\mathrm{l}}\right({I}^{\mathrm{L}\mathrm{R}}\left)\right]+{f}_{\mathrm{h}}\left[{f}_{\mathrm{l}}\right({I}^{\mathrm{L}\mathrm{R}}\left)\right]$

式(1):f_l(·)为浅层特征提取过程;f_h(·)为残差组提取特征过程;f_up(·)为上采样过程;I^LR为输入的低分辨率图像;I^HR为输出的高分辨率图像。

1.2.1 SK自适应卷积

由于普通的卷积层受到固定感受野的限制,所提取到的特征会遗漏输入特征图的重要信息,本文构建生成器网络时使用SK(selective Kernel)自适应卷积^[19]作为部分的卷积层,SK卷积结构如图3所示。

SK卷积内部有多条分支,分别使用不同卷积来提取输入特征图信息,第一条分支卷积核大小为3×3,第i条分支卷积核大小为(1+2i)×(1+2i),不同分支数量会对不同任务的模型产生不同影响,本文研究经过控制变量对比实验选取最优总分支数M=2。

将特征图$X\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}}$分别输入到两个分支中,第一条分支将X依次经过3×3卷积层得到提取特征${U}_{1}\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$第二条分支将X依次经过5×5卷积层得到提取特征${U}_{2}\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$其中5×5卷积是由扩张大小为2、具有3×3核的空洞卷积^[20]构成。将特征U₁与U₂经过元素求和得到融合特征$U\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$公式为

(2)

$U={U}_{1}+{U}_{2}$

然后使用池化层处理特征U,生成通道维度的统计值$s\in {\mathrm{R}}^{C},$特征U第c个通道的值在空间维度缩小后得到s的第c个元素,公式为

(3)

${s}_{\mathrm{c}}=\frac{1}{HW}\stackrel{H}{\sum _{i=1}}\stackrel{W}{\sum _{j=1}}{U}_{c}(i,j)$

式(3)中:H和W为特征U每个通道上的高和宽。

进一步使用全连接层将特征s降低维度来提高效率,公式为

(4)

$z=\delta \left[\beta \right({W}_{\mathrm{S}}\left)\right]$

式(4)中:$\delta $为ReLU激活函数;β为批归一化;W_S为转换矩阵。

使用softmax层处理特征z得到特征U₁与U₂的注意力向量a与b,a_c与b_c为a与b的第c个元素,公式为

(5)

${a}_{c}=\frac{{\mathrm{e}}^{{A}_{c}z}}{{\mathrm{e}}^{{A}_{c}z}+{\mathrm{e}}^{{B}_{c}z}},　{a}_{c}+{b}_{c}=1$

式(5)中:A为转换矩阵;$A、B\in {\mathrm{R}}^{\mathrm{C}\times 32};$A_c为A的第c个元素。使用注意力向量a和b计算得到最终特征图$V\in {\mathrm{R}}^{\mathrm{H}\times \mathrm{W}\times \mathrm{C}},{V}_{c}\mathrm{为}\mathrm{V}\mathrm{的}\mathrm{第}\mathrm{c}$个元素,计算公式为

(6)

${V}_{c}={a}_{c}{U}_{1}+{b}_{c}{U}_{2}$

1.2.2 残差组模块

普通卷积网络是由多个卷积层进行简单叠加得到,每个中间层的特征信息经过尾端卷积层计算之后便不会保留,这使得每个卷积层都需要完整的提取前端输入的特征信息才能保证最终网络性能,而残差网络使用跳跃连接将每个卷积层的输入与输出相加,卷积层只需要学习不同于输入特征的新的信息,并且可以使深层网络结构中多余的冗余层实现输入与输出恒等映射,有效提高了卷积计算与梯度反馈的速度。

残差网络的特征很好地符合了人脸图像超分辨率重建的需求,作为网络输入的低分辨率人脸图像本身含有丰富的人脸特征信息,是重建高分辨率人脸图像的重要基础,若是将输入图像的特征经过每个卷积层完整地映射到网络的输出是十分低效的,因此本文研究使用全局残差与局部残差策略,让卷积只需要学习到输入图像本身特征之外的人脸信息,提高重建网络性能,本文设计的多尺度残差组总体结构如图4所示。

提升网络效能的方法除了增加网络深度,还可以增加网络的宽度,inception模块^[21]将不同的卷积层并行连接组合在一起,通过并行的不同卷积核提取特征信息,可以增加网络对不同尺度的适应性。为了降低网络计算复杂度,提高深层网络运行效率,在设计以上残差网络结构图中的残差单元时使用了一种与inception模块不同的多尺度残差策略,在传统的残差网络中,每个残差块仅通过简单的跳跃连接将输入直接加到输出上,这种设计虽然可以缓解梯度消失问题,但对于特征的多尺度变化处理不够灵活。而多尺度残差策略通过引入SK卷积,使得网络可以自适应地选择最合适的卷积核大小,从而更有效地捕捉到从细节到整体不同尺度的特征,这在一定程度上提高了人脸图像重建的精度和质量。所使用的SK残差单元结构如图5所示。

在使用自适应卷积从不同感受野提取特征信息的基础上,构造双路卷积结构,残差单元的每一条支路都使用SK自适应卷积作为卷积层,将输入结果进行逐元素叠加,连接一个核为3×3的卷积整合特征信息,通过跳连接与原始输入特征逐元素叠加,计算公式为

(7)

${I}_{1}={f}_{3\times 3}\left[{f}_{\mathrm{s}{\mathrm{k}}_{1}}\right({I}_{x})+{f}_{\mathrm{s}{\mathrm{k}}_{2}}({I}_{x}\left)\right]$

式(7)中:f_sk(·)为SK卷积过程;f_3×3(·)为3×3卷积过程;I₁为深层特征提取模块输出;I_x为输入。

将16个残差单元依次连接,将最后一个残差单元的输出通过跳连接与浅层特征提取模块的输出结果进行逐元素叠加,作为深层特征提取模块的输出。

1.2.3 上采样模块

本文研究主要使用两个相邻的放大系数为2的子像素卷积层^[22]作为上采样模块,实现对低分辨率人脸图像4倍的超分辨率重建。在第一个卷积层中,将残差组模块输出的特征${E}_{1}\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}}$用3×3卷积进行通道扩充,得到特征图${E}_{2}\in {\mathrm{R}}^{4\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$使用PixelShuffle层将E₂重组得到尺寸放大2倍的特征图${E}_{3}\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$然后在第二个子像素卷积层中将E₃作为输入重复上述操作,得到尺寸放大4倍的特征图${E}_{4}\in {\mathrm{R}}^{\mathrm{C}\times \mathrm{H}\times \mathrm{W}},$使用核为9×9的卷积层重建为高分辨率人脸图像,表示为

(8)

${I}_{2}={f}_{9\times 9}\left[\mu \right({f}_{3\times 3}\left\{\mu \right[{f}_{3\times 3}\left({I}_{\mathrm{o}}\right)\left]\right\}]$

式(8)中:f_3×3(·)为3×3卷积计算过程;μ(·)代表PixelShuffle层重组过程;f_9×9(·)为9×9卷积计算过程;I₂为上采样模块输出;I_o为上采样模块输入。

1.3 双判别器结构

SRGAN算法提出的Vgg网络使用深层卷积网络结构提取输入图像的特征信息,Real-Srgan^[23]提出使用U-net结构判别器,U-net网络在图像分割领域具有较好的表现,下采样与上采样的结构以及特征融合的特性可以对每一个像素点进行判断类别,能更关注到人脸图像的局部细节信息。Vgg-19网络拥有19层的深层网络结构,能够捕捉图像的深层特征,可以更好地重建高频细节。U-net通过跳跃连接实现了不同层级特征的有效融合,这对于保持图像的空间信息十分有利。本文研究结合两者优点,使用Vgg架构网络D_Vgg与U-net架构网络D_U-net作为模型的双判别器。结合VGG-19的深层特征提取能力和U-net的高效特征融合能力,实现优点互补,生成图像需要同时欺骗两个判别器,增加了生成模型的鲁棒性。但由于判别器的增加,所以训练复杂度也增加。D_Vgg结构如图4所示,包含1个3×3卷积、6个连续的特征提取块,每个特征提取块包含卷积层、批归一化层与Leaky-Relu激活函数,使用全连接层与sigmold层输出判别结果。

D_U-net网络结构如图7所示,在下采样模块中使用3层卷积将初始层的特征下采样3次,每次对特征缩小尺寸、增加通道数,得到各低层特征。在上采样模块中进行相反的操作,增加尺寸、减少通道数,得到新的各层特征,将相同层次的特征相结合作为之后卷积层的输入,上采样层之后使用3个卷积层调整通道数输出判别结果。

1.4 联合损失函数

联合损失函数包含两个方面,在模型训练的第一阶段,仅使用以均方误差(mean square error, MSE)为指导的损失函数,公式为

(9)

${l}_{1}={l}_{\mathrm{M}\mathrm{S}\mathrm{E}}=\frac{1}{WH}\stackrel{W}{\sum _{x=1}}\stackrel{H}{\sum _{y=1}}[{I}_{x,y}^{\mathrm{H}\mathrm{R}}-G({I}^{\mathrm{L}\mathrm{R}}{)}_{x,y}{]}^{2}$

式(9)中:I^LR为输入;l_MSE 为联合损失函数输出;G(I^LR)表示生成图像;${I}_{x,y}^{\mathrm{H}\mathrm{R}}$ 为输入高分辨率图像在(x, y)点的值;W、H为输入图像的宽和高。

在模型训练的第二个阶段,额外融合以Vgg-19网络为基础的Vgg损失和以双判别网络为基础的对抗损失,总的损失函数公式为

(10)

${l}_{2}=\alpha {l}_{1}+\beta {l}_{\mathrm{V}\mathrm{g}\mathrm{g}}+{\lambda }_{{D}_{1}}{l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{1}}+{\lambda }_{{D}_{2}}{l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{2}}$

式(10)中:l₁为式(9)所代表的MSE损失;l_Vgg为计算SR与HR图像深层特征图之间逐像素损失得到的感知损失;α为MSE损失的加权系数;β为Vgg损失的加权系数;λ_D₁为判别网络D_Vgg对抗损失的加权系数;λ_D₂为判别网络D_U-net对抗损失的加权系数。

以往算法大多只使用Vgg-19网络单一层的输出作为图像深层特征,但是网络的中间层同样包含着重要的特征信息,本文研究融合了多层输出结果作为最终的图像深层特征并计算损失函数,表达式为

(11)

$P=0.1{P}_{2}+0.1{P}_{7}+0.1{P}_{16}+{P}_{19}$

(12)

${l}_{\mathrm{V}\mathrm{g}\mathrm{g}}=\frac{1}{{W}_{i}{H}_{i}}\stackrel{{W}_{i}}{\sum _{x=1}}\stackrel{{H}_{i}}{\sum _{y=1}}({P}_{x,y}^{\mathrm{H}\mathrm{R}}-{P}_{x,y}^{\mathrm{S}\mathrm{R}}{)}^{2}$

式中:P为Vgg-19网络加权平均后的输出结果;P_i为Vgg-19网络第i层的输出结果;W_i、H_i为第i层特征图的宽和高;P_x,y为式(11)的最终深层特征输出结果在(x,y)点的值;${l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{1}}$与${l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{2}}$表示判别网络D_Vgg与 D_U-net计算的对抗损失,为了增强训练的稳定性,本文使用了相对平均判别(relative average discrimination, RaD^[24]),公式为

(13)

${D}_{\mathrm{R}\mathrm{a}}({x}_{\mathrm{r}},{x}_{\mathrm{f}})=\sigma \left\{C\right({x}_{\mathrm{r}})-{E}_{{x}_{\mathrm{f}}}[C\left({x}_{\mathrm{f}}\right)\left]\right\}$

(14)

$\begin{array}{l}{l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{1}}=-{E}_{x}\left\{\mathrm{l}\mathrm{n}\right[1-{D}_{\mathrm{R}\mathrm{a}}^{1}({x}_{\mathrm{r}},{x}_{\mathrm{f}})\left]\right\}-\\ {E}_{x}\left\{\mathrm{l}\mathrm{n}\right[1-{D}_{\mathrm{R}\mathrm{a}}^{1}({x}_{\mathrm{f}},{x}_{x})\left]\right\}\end{array}$

(15)

$\begin{array}{l}{l}_{\mathrm{g}\mathrm{e}\mathrm{n}}^{{D}_{2}}=-{E}_{x}\left\{\mathrm{l}\mathrm{n}\right[1-{D}_{\mathrm{R}\mathrm{a}}^{2}({x}_{\mathrm{r}},{x}_{\mathrm{f}})\left]\right\}-\\ {E}_{x}\left[\mathrm{l}\mathrm{n}\right(1-{D}_{\mathrm{R}\mathrm{a}}^{2}({x}_{\mathrm{f}},{x}_{x})\left]\right\}\end{array}$

式中:D_Ra(x_r,x_f)为数据x_r比数据x_f真实的概率;x_r、x_f为HR图像数据与SR图像数据;σ为sigmoid函数;C(·)为判别器的原始输出;E_x(·)表示求平均值。

为了平衡人脸图像真实感与失真之间的关系,本文算法与主流算法选取相同的损失加权系数,即$\alpha =1,\beta =0.006,{\lambda }_{{D}_{1}}=0.001\mathrm{ }5,{\lambda }_{{D}_{2}}=0.001\mathrm{ }5。$

联合损失函数组合使得本文模型能够在保持像素级精度的同时,提升重建图像的感知质量和自然度。通过这种多方面的损失函数设计,模型不仅关注于像素级重建的准确性,还强调了重建图像的视觉效果,有效地平衡了重建过程中的细节保留和真实感提升。

然而,尽管该联合损失函数在多个方面考虑了重建质量,但对于特定的人脸图像超分辨率任务,可能还需要进一步的定制或优化。例如,考虑到人脸图像的特殊性,可能会加入特定的面部特征损失,如面部关键点或面部区域的特殊处理,以进一步提升面部图像的重建质量和自然度。

2 实验及结果分析

收起

2.1 数据集与训练参数

本次实验采用Pytorch框架,在Python3.7、CUDA 11.1、cuDNN 8.0.5的虚拟环境中进行。本次实验的训练数据集使用celeba数据集的前20 000张人脸图像,测试数据集使用celeba数据集中后500张人脸图像。

训练时选用Adam优化器,重建倍数为4倍,设置每批次人脸图像数量为32,为了提高网络训练效率,将原图随机裁出96×96的图像块作为HR人脸图像,并使用插值法将其4倍下采样作为生成网络输入的LR人脸图像。首先使用损失函数对生成网络进行学习率为10^-4、周期为100批次的训练,再加入双判别器,使用损失函数对生成网络以10^-4与10^-5的学习率分别进行50个周期的训练。

2.2 重建图像质量评价指标

本文研究共使用4种指标来评估重建人脸图像的质量。峰值信噪比PSNR从像素角度评价图像间的相似度,公式为

(16)

$MSE=\frac{1}{MN}\stackrel{M-1}{\sum _{i=0}}\stackrel{N-1}{\sum _{j=0}}{\left[I(i,j)-K(i,j)\right]}^{2}$

(17)

$\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}=10\mathrm{l}\mathrm{g}\frac{\mathrm{M}\mathrm{A}{\mathrm{X}}^{2}}{\mathrm{M}\mathrm{S}\mathrm{E}}$

式中:MSE是均方误差;I和K分别为HR图像和SR图像在(i, j)点处的值;M和N为图像长和宽;MAX=255,表示图像像素最大值。

结构相似度SSIM指标从结构角度衡量两个图像的相似性,计算公式为

(18)

$S(x,y)=\frac{(2{\mu }_{x}{\mu }_{y}+{C}_{1})(2{\sigma }_{xy}+{C}_{2})}{({\mu }_{x}^{2}+{\mu }_{y}^{2}+{C}_{1})({\sigma }_{x}^{2}+{\sigma }_{y}^{2}+{C}_{2})}$

式(18)中:μ_x和μ_y为两个图像的平均值;${\mu }_{x}^{2}$和${\mu }_{y}^{2}$为两个图像的标准差;σ_xy为两图像之间的协方差;C₁、C₂为常数。

感知相似度LPIPS指标^[25]使用特定神经网络,提取原始高分辨率人脸图像与生成图像的特征并计算两者的特征感知距离,计算公式为

(19)

$\mathrm{d}(\mathrm{x},{x}_{0})=\stackrel{19}{\sum _{l=1}}\frac{1}{{H}_{l}{W}_{l}}\stackrel{255}{\sum _{h=1,w=1}}{w}_{l}☉({\dot{\mathrm{y}}}_{hw}^{l}-{\dot{\mathrm{y}}}_{0hw}^{l}{)}_{2}^{2}$

式(19)中:${\dot{\mathrm{y}}}^{l},{\dot{\mathrm{y}}}_{0}^{l}\in {\mathrm{R}}^{{\mathrm{H}}_{\mathrm{l}}\times {\mathrm{W}}_{\mathrm{l}}\times {\mathrm{C}}_{\mathrm{l}}}$表示在网络第l层提取的特征值;w为宽度通道向量值;h为高度通道向量值,最大值为255;l为输入的特征图层数,最大值为19。

图像感知质量PI指标^[26]用来衡量生成图像的主观感知质量,PI值越低表示生成图像越符合人的主观感受,由量化指标Ma^[27]与NIQE^[28]计算得来,公式为

(20)

$\mathrm{P}\mathrm{I}=\frac{1}{2}\left[\right(10-\mathrm{M}\mathrm{a})+\mathrm{N}\mathrm{I}\mathrm{Q}\mathrm{E}]$

2.3 结果分析

本节主要研究分析以上所提出的基于自适应卷积与联合损失函数的人脸图像超分辨率重建算法对低分辨率人脸重建的效果,使用从celeba数据集中选取的测试集进行部分对比实验,本文研究对生成对抗网络结构提出了3个方面的改进方法,将分别去除各改进模块的算法模型作为Base基础模型,对使用改进模块前后的模型进行实验,分析各模块对于网络性能的不同影响,并将本文算法与主流算法进行重建结果比较分析。

首先研究自适应卷积对网络性能的影响,自适应卷积内部具有多个分支,当设置自适应卷积分支数为1时,就成为了普通的核为3×3的卷积单元^[29],对自适应卷积的分支数进行对比实验,分析不同分支数的重建结果,以此确定在本算法中最优的分支数,重建图像指标评价结果如表1所示,其中Base1模型代表使用普通卷积的算法,Base1+sk(2)模型表示使用分支数为2的自适应卷积,Base1+sk(3)模型表示使用分支数为3的自适应卷积。

从表1中可以看出自适应卷积对算法结果的影响,使用含有两条卷积分支的自适应卷积相比使用普通卷积的算法重建结果在4个指标上均有优势,PSNR值提高1.455 dB,SSIM值提高0.029,LPIPS值优化0.048 1,PI值优化0.225 6,这说明相较于单核的卷积层,融合多核的卷积可以更有效地提取输入图像的特征信息,生成SR图像不仅在像素角度更接近原始HR图像,而且更符合HR图像的深层特征分布^[30],能有效提高人眼感知质量。当分支数增加到3时,可以看到对于算法的作用很微弱,在4个指标上分别上下波动,说明在本算法中,融合核为3×3与5×5的卷积在感受野方面足够提取到输入图像的特征信息,额外融合核为7×7的卷积效果不明显^[31]。本文研究对于生成对抗网络的训练采用了两阶段训练法,图8分别展示了在两个阶段训练过程中PSNR指标的变化折线图。

在仅训练生成器网络阶段,使用了自适应卷积的算法随着训练批次的增加,重建图像的PSNR指标上升速度明显快于普通卷积^[32]的算法,这表明网络收敛更快,并且较早达到最优指标附近,在同时训练生成网络与判别网络阶段,使用自适应卷积的算法同样表现出收敛更快的性能,体现出自适应卷积能更高效的提取输入图像特征,不同感受野下的卷积层能学习到更多的人脸特征信息,使得指标折线图一直高于使用单一卷积的算法。由于自适应卷积分支数的继续增加并未明显提高网络性能,考虑到卷积复杂度对算法的负担,本文研究使用分支数为2的SK卷积作为最优模型的组成单元。依据车亚丽等^[33]研究结果显示,自适应卷积在Celeba和Helen两种人脸数据集上都产生了较好的实验结果,对于无遮挡人脸数据集具有一定的泛化能力。

其次研究多尺度残差模块对算法结果的影响,将使用多尺度残差模块的算法与使用普通残差模块的算法进行对比,表2与图9分别表示两种算法重建的人脸图像指标评价结果与训练过程中PSNR指标的变化折线图,其中Base2表示未使用多尺度残差模块的算法,可以看到使用多尺度残差模块改进的算法重建结果PSNR值提高0.627 dB,SSIM值提高0.023,LPIPS值优化0.026 2,PI值没有明显变化,这说明在残差组模块中融合多路径的特征能够补充单一路径所忽略的特征信息,生成的SR图像细节上更清晰。多支路的主干网络同样能使网络较快学习到重要的人脸信息,质量评价指标变化速度更快。

将使用双判别网络的算法与仅使用Vgg判别网络的算法进行对比研究,表3与图10分别表示两种算法重建的人脸图像指标评价结果与训练过程中PSNR指标的变化折线图,改进的算法相比单判别网络PSNR值没有明显变化,SSIM值提高0.011,PI值优化0.018 8,LPIPS值优化0.093 8,PSNR的变化折线图并未始终与单判别的算法接近,这说明加入U-net网络的判别反馈之后,优化的损失函数主要针对对抗损失方面,主要能提高图像的感知质量。

为了验证本文算法重建人脸图像的优越性,与当前主流算法在测试集上进行对比实验。本文算法与SRCNN、VDSR、EDSR、SRGAN、MLGE、RWSA算法重建图像的质量指标评价结果如表4所示。其中SRGAN、MLGE、RWSA算法与本文算法一样采用生成对抗网络结构。本文算法运行时间优势不明显,但可以看到EDSR等缺少感知损失指导的算法在PSNR与SSIM指标上具有优势,本文算法因使用了生成对抗网络的架构与联合损失函数,在LPIPS和PI两个衡量图像感知质量的指标上均超过了其他算法,LPIPS指标比第二名优化了0.032,PI指标比第二名优化了0.119,相比于同样使用生成对抗网络结构的算法,本文算法具有更有效的特征提取模块,在PSNR与SSIM指标上同样具有很大优势,证明了本文算法重建人脸图像的优越性。

为了更直观地看出算法重建的人脸图像的效果,上述算法各自重建的部分人脸图像整体对比图如图11所示,人脸图像细节对比图如图12所示。

从上述两张图中可以看出bicubic使用插值法图像质量最差,只能恢复脸部的大致轮廓,脸部细节模糊。SRCNN、VDSR、EDSR随着卷积网络复杂度的提高所生成图像逐渐清晰,SRCNN算法重建效果得到了增强,但由于网络层数较少,对特征信息提取有限,所以在细节信息上仍有损失。VDSR对比SRCNN具有深度网络结构,并加入残差结构,但由于缺少联合损失约束,生成图像细节仍有提升的空间。SRGAN、VDSR、EDSR三种算法生成效果得到增强,细节刻画提升较明显,但是由于部分纹理细节过于光滑,颜色对比度较低使得人脸图像增加了过多的失真,降低了人脸图像的真实感。相比较而言,本文算法重建的人脸图像具有较为清晰和真实的主观感受,使用Vgg架构网络作为判别器捕捉了人脸图像的全局特征,如整体结构、轮廓和主要组成部分的布局。这有助于确保重建的人脸图像在整体上与原始高分辨率图像保持一致性。U-net架构网络作为另一个判别器,专注于图像的局部细节和纹理信息,如眼睛、鼻子和嘴巴的细节。这有助于提升图像细节的重建质量,使重建的人脸图像在眼睛等细节方面和HR图像更为相似。但是本文算法仅实现了倍数为4的图像重建工作,为了满足不同情况下的需求,进一步进行不同倍数的重建训练。

3 结论

收起

(1) 算法采用的自适应卷积可以提高网络模型的精度,相较于单核的卷积层能更有效地提取输入图像的特征信息,生成的图像更符合真实图像的深层特征分布,能有效提高人眼感知质量,PSNR值提高1.455 dB,SSIM值提高0.029,LPIPS值优化0.048 1,PI值优化0.225 6。

(2)算法采用的多尺度残差结构能提高网络特征映射能力,融合多路径的特征能够补充单一路径所忽略的特征信息,生成的图像细节上更清晰,PSNR值提高0.627 dB,SSIM值提高0.023,LPIPS值优化0.026 2。

(3)算法采用的双判别网络结构可以提高判别器判别效果,通过优化对抗损失可以提高图像的感知质量,SSIM值提高0.011,PI值优化0.018 8,LPIPS值优化0.093 8。

(4)提出了一种基于生成对抗网络的人脸超分辨率重建算法。一方面采用自适应卷积,根据输入特征调节内部卷积核的权重,提高生成图像的人眼感受质量; 另一方面通过改进的多尺度残差结构,增加网络宽度,提高生成图像的清晰度。实验结果表明,本文方法对于人脸图像超分辨率重建上优于其他超分辨率算法,有效提高了现实环境中人脸超分辨率重建的质量。然而由于加入的双判别器网络结构增加了模型复杂度,所以该模型时间优势不明显,如何在保证人脸重建质量的同时使模型轻量化是之后尝试的改进方向。

基金

收起

中国人民公安大学安全防范工程双一流创新研究专项(2023SYL08)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Dong

, Loy

, Tang

X O

. Accelerating the super-resolution convo-lutional neural network[C]// European Conference on Computer Vision. Cham: Springer, 2016: 391-407.

[2]

Kim

, Lee

. Deeply-recursive convolutional network for image super-resolution[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 1637-1645.

[3]

Kim

, Lee

. Accurate image super-resolution using very deep convolutional networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 1646-1654.

[4]

Tai

, Yang

, Liu

X M

. Image super-resolution via deep recursive residual network[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 3147-3155.

[5]

Tong

, Li

, Liu

X T

, et al. Image super-resolution using dense skip connections[C]// Proceedings of the IEEE International Conference on Computer Vision. New York: IEEE, 2017: 4799-4807.

[6]

Zhang

Y L

, Li

K P

, Li

, et al. Image super-resolution using very deep residual channel attention networks[C]// Proceedings of the European Conference on Computer Vision (ECCV). Berlin: Springer, 2018: 286-301.

[7]

Woo

, Park

, Lee

, et al. CBAM: convolutional block attention module[C]// Proceedings of the European Conference on Computer Vision (ECCV). Berlin: Springer, 2018: 3-19.

[8]

Chudasama

, Nighania

, Upla

, et al. E-comsupresnet: enhanced face super-resolution through compact network[J]. IEEE Transactions on Biometrics, Behavior, and Identity Science, 2021, 3(2): 166-179.

[9]

Chen

C F

, Gong

D H

, Wang

, et al. Learning spatial attention for face super-resolution[J]. IEEE Transactions on Image Processing, 2020, 30: 1219-1231.

[10]

Ledig

, Theis

, Huszár

, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 4681-4690.

[11]

, Dai

B R

. ICPR).Multi-laplacian GAN with edge enhancement for face super resolution[C]// New York: IEEE, 2021: 3505-3512.

[12]

Lim

, Son

, Kim

, et al. Enhanced deep residual networks for single image super-resolution[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Piscataway: IEEE, 2017: 136-144.

[13]

Wang

X T

, Yu

, Wu

S X

, et al. ESRGAN: enhanced super-resolution generative adversarial networks[C]// Proceedings of the European Conference on Computer Vision (ECCV) Workshops. Berlin: Springer, 2018: 1-9.

[14]

Aakerberg

, Nasrollahi

, Moeslund

T B

. Real-world super-resolution of face-images from surveillance cameras[J]. IET Image Processing, 2022, 16(2): 442-452.

[15]

邓酩, 柳庆龙, 侯立宪. 多尺度残差生成对抗网络的图像超分辨率重建[J]. 科学技术与工程, 2023, 23(31): 13472-13481.

Deng

Ming

, Liu

Qinglong

, Hou

Lixian

. Image super-resolution reconstruction of multi-scale residual generative adversarial networks[J]. Science Technology and Engineering, 2023, 23(31): 13472-13481.

[16]

仝卫国, 蔡猛, 庞雪纯, 等. 基于多尺度特征融合的超分辨率重建算法研究[J]. 科学技术与工程, 2022, 22(26): 11507-11514.

Tong

Weiguo

, Cai

Meng

, Pang

Xuechun

, et al. Super-resolution reconstruction algorithm based on multi-scale feature fusion[J]. Science Technology and Engineering, 2022, 22(26): 11507-11514.

[17]

Liu

Z W

, Luo

, Wang

X G

, et al. Deep learning face attributes in the wild[C]// Proceedings of the IEEE International Conference on Computer Vision. Piscataway: IEEE, 2015: 3730-3738.

[18]

Hahnloser

R H R

, Sarpeshkar

, Mahowald

M A

, et al. Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit[J]. Nature, 2000, 405(6789): 947-951.

[19]

, Wang

W H

, Hu

X L

, et al. Selective Kernel networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2019: 510-519.

[20]

. Multi-scale context aggregation by dilated convolutions[J]. arXiv preprint arXiv: 1511.07122, 2015.

[21]

Szegedy

, Liu

, Jia

Y Q

, et al. Going deeper with convolutions[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2015: 1-9.

[22]

Shi

, Caballero

, Huszár

, et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 1874-1883.

[23]

Wang

, Xie

, Dong

, et al. Real-esrgan: training real-world blind super-resolution with pure synthetic data[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2021: 1905-1914.

[24]

Jolicoeur-Martineau

. The relativistic discriminator: a key element missing from standard GAN[J]. arXiv preprint arXiv: 1807.00734, 2018.

[25]

Zhang

, Isola

, Efros

A A

, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018: 586-595.

[26]

Blau

, Mechrez

, Timofte

, et al. The 2018 PIRM challenge on perceptual image super-resolution[C]// Proceedings of the European Conference on Computer Vision (ECCV) Workshops. Piscataway: IEEE, 2018.DOI: 10.48550/arXiv.1809.07517.

[27]

, Yang

C Y

, Yang

X K

, et al. Learning a no-reference quality metric for single-image super-resolution[J]. Computer Vision and Image Understanding, 2017, 158: 1-16.

[28]

Mittal

, Soundararajan

, Bovik

A C

. Making

“completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2012, 20(3): 209-212.

[29]

章伟帆, 曾庆鹏. 多重放大的医学图像超分辨率重建[J]. 计算机工程与应用, 2022, 58(23): 230-237.

Zhang

Weifan

, Zeng

Qingpeng

. Multi-scale medical image super-resolution reconstruction[J]. Computer Engineering and Applications, 2022, 58(23): 230-237.

[30]

李靖宇, 程卫月, 李子翔, 等. 超分辨率重建的微小人脸识别算法[J]. 哈尔滨理工大学学报, 2022, 27(3): 52-58.

Jingyu

, Cheng

Weiyue

, Li

Zixiang

, et al. Small face recognition algorithm based on super-resolution reconstruction[J]. Journal of Harbin University of Science and Technology, 2022, 27(3): 52-58.

[31]

张艳青, 马建红, 韩颖, 等. 真实场景下图像超分辨率重建研究综述[J]. 计算机工程与应用, 2023, 59(8): 28-40.

Zhang

Yanqing

, Ma

Jianhong

, Han

Ying

, et al. Review of research on real-world single image super-resolution reconstruction[J]. Computer Engineering and Applications, 2023, 59(8): 28-40.

[32]

吕佳, 许鹏程. 多尺度自适应上采样的图像超分辨率重建算法[J]. 计算机科学与探索, 2023, 17(4): 879-891.

Lyu

Jia

, Xu

Pengcheng

. Image super-resolution reconstruction algorithm based on multi-scale adaptive upsampling[J]. Journal of Frontiers of Computer Science and Technology, 2023, 17(4): 879-891.

[33]

车亚丽, 徐岩, 薛海丽, 等. 基于残差注意力机制的人脸图像超分辨率重建算法[J]. 测量科学与仪器, 2023, 13(9): 1-9.

Che

Yali

, Xu

Yan

, Xue

Haili

, et al. Face image super-resolution reconstruction algorithm based on residual attention mechanism[J]. Journal of Measurement Science and Instrumentation, 2023, 13(9): 1-9.

2025年第25卷第6期

PDF下载

347

126

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2403052

接收时间：2024-04-25
首发时间：2025-07-27
出版时间：2025-02-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-04-25
修回日期：2024-12-13

基金

中国人民公安大学安全防范工程双一流创新研究专项(2023SYL08)

作者信息

中国人民公安大学信息与网络安全学院, 北京 100038

通讯作者:

^* 张雅丽(1977—),女,汉族,山西大同人,硕士,副教授。研究方向:安全防范技术与智能视频技术。E-mail:zhangyl_mail@163.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2403052

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base1	28.314	0.831	0.150 8	3.925 4
Base1+sk(2)	29.769	0.860	0.102 7	3.699 8
Base1+sk(3)	29.804	0.861	0.110 3	3.674 8

模型

PSNR/dB↑

SSIM↑

LPIPS↓

PI↓

Base1

28.314

0.831

0.150 8

3.925 4

Base1+sk(2)

29.769

0.860

0.102 7

3.699 8

Base1+sk(3)

29.804

0.861

0.110 3

3.674 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base2	29.142	0.837	0.128 9	3.846 6
Base2+ sk multiscale residual	29.769	0.860	0.102 7	3.699 8

模型

PSNR/dB↑

SSIM↑

LPIPS↓

PI↓

Base2

29.142

0.837

0.128 9

3.846 6

Base2+ sk multiscale residual

29.769

0.860

0.102 7

3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Base3	29.651	0.849	0.121 5	3.993 6
Base3+U-net	29.769	0.860	0.102 7	3.699 8

模型

PSNR/dB↑

SSIM↑

LPIPS↓

PI↓

Base3

29.651

0.849

0.121 5

3.993 6

Base3+U-net

29.769

0.860

0.102 7

3.699 8

模型	PSNR/dB↑	SSIM↑	LPIPS↓	PI↓
Bicubic	27.977	0.811	0.330 0	7.619 5
SRCNN^[1]	29.456	0.865	0.232 0	6.138 2
VDSR^[3]	29.937	0.870	0.274 0	5.981 7
EDSR^[12]	30.252	0.879	0.268 0	5.630 3
SRGAN^[10]	27.968	0.814	0.161 0	4.031 3
MLGE^[11]	28.381	0.815	0.136 0	4.019 0
RWSA^[14]	28.603	0.823	0.135 0	3.818 0
本文模型	29.769	0.860	0.102 7	3.699 8

模型

PSNR/dB↑

SSIM↑

LPIPS↓

PI↓

Bicubic

27.977

0.811

0.330 0

7.619 5

SRCNN^[1]

29.456

0.865

0.232 0

6.138 2

VDSR^[3]

29.937

0.870

0.274 0

5.981 7

EDSR^[12]

30.252

0.879

0.268 0

5.630 3

SRGAN^[10]

27.968

0.814

0.161 0

4.031 3

MLGE^[11]

28.381

0.815

0.136 0

4.019 0

RWSA^[14]

28.603

0.823

0.135 0

3.818 0

本文模型

29.769

0.860

0.102 7

3.699 8