科学技术与工程

方法	Zero-DCE dataset	LOL datasets
SRIE	14.41	0.54	—	—
LIME	16.17	0.57	—	—
RetinexNet	15.99	0.53	7.58	0.30
Zero-DCE	16.57	0.59	13.29	0.63
Zero-DCE++	16.79	0.57	13.94	0.67
RetinexDIP	12.90	0.71	11.88	0.41
SGZ	12.10	0.60	20.60	0.79
本文方法	22.29	0.89	21.15	0.74

方法	Zero-DCE dataset	LOL datasets
SRIE	14.41	0.54	—	—
LIME	16.17	0.57	—	—
RetinexNet	15.99	0.53	7.58	0.30
Zero-DCE	16.57	0.59	13.29	0.63
Zero-DCE++	16.79	0.57	13.94	0.67
RetinexDIP	12.90	0.71	11.88	0.41
SGZ	12.10	0.60	20.60	0.79
本文方法	22.29	0.89	21.15	0.74

图片编号	SRIE	LIME	RetinexNet	Zero-DCE	Zero-DCE++	RetinexDIP	SGZ	本文方法
1	2.20	2.55	2.80	3.05	3.20	3.10	3.30	3.45
2	2.25	2.50	2.90	3.00	3.15	2.90	3.35	3.30
3	2.10	2.40	2.95	2.95	3.20	2.80	3.00	3.40
4	2.50	2.55	2.90	3.10	3.05	3.00	2.95	3.15
5	2.45	2.30	3.00	3.10	3.00	2.75	3.15	3.20
6	2.45	2.35	3.05	3.00	3.15	3.05	3.05	3.25
7	2.00	2.50	2.85	3.15	3.25	3.10	3.10	3.35
8	2.60	2.65	2.95	3.10	3.20	3.10	3.25	3.40
9	2.35	2.60	2.90	3.05	3.10	3.00	3.30	3.45
10	2.20	2.60	3.00	3.00	3.05	3.10	3.05	3.10

图片编号	SRIE	LIME	RetinexNet	Zero-DCE	Zero-DCE++	RetinexDIP	SGZ	本文方法
1	2.20	2.55	2.80	3.05	3.20	3.10	3.30	3.45
2	2.25	2.50	2.90	3.00	3.15	2.90	3.35	3.30
3	2.10	2.40	2.95	2.95	3.20	2.80	3.00	3.40
4	2.50	2.55	2.90	3.10	3.05	3.00	2.95	3.15
5	2.45	2.30	3.00	3.10	3.00	2.75	3.15	3.20
6	2.45	2.35	3.05	3.00	3.15	3.05	3.05	3.25
7	2.00	2.50	2.85	3.15	3.25	3.10	3.10	3.35
8	2.60	2.65	2.95	3.10	3.20	3.10	3.25	3.40
9	2.35	2.60	2.90	3.05	3.10	3.00	3.30	3.45
10	2.20	2.60	3.00	3.00	3.05	3.10	3.05	3.10

方法	PSNR(↑)	SSIM(↑)
低照度图像	10.71	0.33
本文方法	22.89	0.89
只包括mobile-net融入U-Net的下采样模块	17.61	0.79
只包括AD-NET降噪模块	18.45	0.64

方法	PSNR(↑)	SSIM(↑)
低照度图像	10.71	0.33
本文方法	22.89	0.89
只包括mobile-net融入U-Net的下采样模块	17.61	0.79
只包括AD-NET降噪模块	18.45	0.64

方法	PSNR (↑)	SSIM (↑)	LPIPS (↓)
批次大小为2	10.71	0.33	—
批次大小为4	14.48	0.606	0.289
批次大小为8	14.63	0.615	0.299
批次大小为16	19.35	0.87	0.159
本文方法	22.89	0.89	0.085

方法	PSNR (↑)	SSIM (↑)	LPIPS (↓)
批次大小为2	10.71	0.33	—
批次大小为4	14.48	0.606	0.289
批次大小为8	14.63	0.615	0.299
批次大小为16	19.35	0.87	0.159
本文方法	22.89	0.89	0.085

方法	PSNR (↑)	SSIM (↑)
低照度图像	10.71	0.33
降噪水平=0.7	17.39	0.79
降噪水平=0.8	18.32	0.81
本文方法	22.89	0.89
降噪水平=1.0	19.71	0.74
降噪水平=1.1	20.06	0.80

方法	PSNR (↑)	SSIM (↑)
低照度图像	10.71	0.33
降噪水平=0.7	17.39	0.79
降噪水平=0.8	18.32	0.81
本文方法	22.89	0.89
降噪水平=1.0	19.71	0.74
降噪水平=1.1	20.06	0.80

融合零参考深度曲线的低照度图像增强与去噪算法

PDF下载

田博文 , 丁建伟 ^* , 户子睿

科学技术与工程 | 论文·自动化技术、计算机技术 2025,25(2): 704-712

收起

科学技术与工程 | 论文·自动化技术、计算机技术 2025, 25(2): 704-712

融合零参考深度曲线的低照度图像增强与去噪算法

全屏

田博文, 丁建伟^*, 户子睿

作者信息

中国人民公安大学信息网络安全学院, 北京 100038

田博文(1999—),男,汉族,江苏宝应人,硕士研究生。研究方向:低照度图像增强。E-mail:617376537@qq.com。

通讯作者:

^* 丁建伟(1984—),男,汉族,湖北随州人,博士,副教授。研究方向:计算机视觉与人工智能安全。E-mail:jwding@ppsuc.edu.cn。

Low-Light Image Enhancement and Denoising Algorithm Integrating Zero-Reference Depth Curves

Bo-wen TIAN, Jian-wei DING^*, Zi-rui HU

Affiliations

School of Information Network Security, People's Public Security University of China, Beijing 100038, China

出版时间: 2025-01-18 doi: 10.12404/j.issn.1671-1815.2308919

文章导航

摘要

收起

为解决低光照条件下的图像噪声多、亮度低、细节模糊等问题,提出了一种融合零参考深度曲线的低照度图像增强与去噪算法(UMDCEAD-NET)。该算法首先设计了一个特征提取网络,以u-net为主干网络,并在主干U-Net的下采样过程融入mobile-net,以提高算法特征提取能力,保留更多图像细节信息。其次,为解决图像像素级光照不足、网络的退化的问题,利用深度曲线估计(LE-曲线)对提取特征进行迭代,结合深度可分离卷积降低网络模型的参数量,并设计了5个非参考损失函数,提高算法在不同光照条件下的泛化能力和细节保留能力。最后,结合AD-NET(attentional denoising network)对增强后的图像进行降噪处理,以减少增强图像的噪声,使得图像更符合人眼的视觉感知。实验结果显示,本文算法在公开数据集Zero-DCE平均峰值信噪比(peak signal-to-noise ratio,PSNR)达到22.29,相比Zero-DCE++算法提高了32%,在公开数据集LOL的PSNR达到21.15,相比SGZ算法提高了3%。可见,该算法能够有效地解决增强后图像的噪声问题,使得增强后的图像暗部和亮部区域的细节信息更加丰富,与其他主流算法相比本文算法图像质量有明显提升。

关键词

低照度图像增强 / 零参考深度曲线 / 降噪 / U-Net

Abstract

收起

In order to address issues such as high noise, low brightness, and blurred details in low-light conditions, a new algorithm named UMDCEAD-NET, integrating zero-reference depth curves for low-light image enhancement and denoising, was developed. The algorithm's design was initially centered around a feature extraction network, employing a U-Net architecture as the backbone network. To enhance the feature extraction capabilities and preserve more detailed image information, Mobile-Net was integrated into the downsampling phase of the U-Net backbone. Subsequently, to address the issue of inadequate lighting and pixel-level image degradation, the extracted features underwent iteration using depth curve estimation (LE-curve), in conjunction with depth separable convolution, which served to reduce the network model's parameter count. Furthermore, five non-reference loss functions were engineered to bolster the algorithm's generalization capabilities and its retention of detail under varying lighting conditions. The enhanced image was then subjected to noise reduction in tandem with AD-NET(attentional denoising network), thereby diminishing the noise and aligning the image more closely with human visual perception. Experimental outcomes demonstrated that the proposed algorithm achieved an average PSNR (peak signal-to-noise ratio) of 22.29 on the public dataset Zero-DCE, which exceeded the performance of the Zero-DCE++ algorithm by 32%. Additionally, on the public dataset LOL, the algorithm attained an average PSNR of 21.15, outperforming the SGZ algorithm by 3%. These results indicate that the algorithm effectively mitigates noise in enhanced images, enriching the detail information in both dark and bright regions, and significantly improving image quality compared to other mainstream algorithms.

Key words

Low-light image enhancement / zero reference depth curve / noise reduction / U-Net

引用本文

田博文, 丁建伟, 户子睿. 融合零参考深度曲线的低照度图像增强与去噪算法. 科学技术与工程, 2025 , 25 (2) : 704 -712 . DOI: 10.12404/j.issn.1671-1815.2308919

Bo-wen TIAN, Jian-wei DING, Zi-rui HU. Low-Light Image Enhancement and Denoising Algorithm Integrating Zero-Reference Depth Curves[J]. Science Technology and Engineering, 2025 , 25 (2) : 704 -712 . DOI: 10.12404/j.issn.1671-1815.2308919

正文

收起

在弱光场景下,由于光照不足和曝光时间限制等,拍摄的图像可能存在高噪声、低对比度、信息缺失和颜色失真等质量问题,严重影响后续的图像处理。低光照图像处理旨在改善微光下拍摄的图像的视觉效果,是图像处理的一个重要研究领域,在视频监控和自动控制等领域有许多应用。

传统的低照度图像处理方法可以分为基于直方图均衡化^[1-3]的方法和基于Retinex理论^[4]的方法。直方图均衡化(histogram equalization,HE)方法^[1-3]通过调整图像灰度级的概率分布从而提升对比度实现图像增强效果。Retinex理论^[4]将图像分解为反射分量和光照分量,通过反射分量反映图像本身的颜色和纹理信息,并调整光照分量获得增强后图像。基于此理论,SSR算法^[5]和MSR算法^[6]被提出,SSR算法^[5]采用高斯低通滤波估计光照分量,MSR算法^[6]采用不同高斯核的低通滤波估计光照分量。然而,传统算法的缺点是计算复杂度高,而且会存在信息缺失。如基于直方图均衡化算法在灰度合并过程中可能导致图像纹理细节缺失;基于Retinex理论算法计算复杂度高,可能会导致图像的过度增强或失真。

针对传统算法的局限性,近年来,基于深度学习的低照度图像增强方法逐渐成为研究热点。相比于传统算法,基于深度学习的低照度图像增强方法取得了更好的增强效果。Li等^[7]在Retinex模型基础上引入了深度曲线光照图估计。Wang等^[8]提出了一种基于深度曲线照度图的低光图像增强方法,提出了曝光不足增强网络。Guo等^[9]提出了一种零参考深度曲线增强方法(Zero-DCE),并提出了一个弱监督轻量级的深度曲线网络;Zero-DCE++^[10]方法是基于Zero-DCE方法的加速和轻量级版本,具有更优的效果和更完整的论证。SGZ^[11]是在零参考深度曲线的基础上增加了语义信息。Fu等^[12]提出了一种从低照度图像对中学习自适应先验的无监督方法PairLIE,将 Retinex 理论强加给网络,使两个反射成分保持一致。DiffLL^[13]是一种基于小波的条件扩散模型,该模型利用扩散模型的生成能力使得生成图像具有较好的感知保真度。PyDiff^[14]是一种新颖的金字塔扩散方法,通过调节分辨率实现低照度图像增强。但是,这些算法在扩散过程中探索的辅助策略可能导致欠佳的视觉结果。Feng等^[15]提出了一种色彩和强度解耦网络(CIDNet),该网络专门处理空间中的解耦图像亮度(high view innovation,HVI) 空间中的解耦图像亮度和色彩。相比传统方法,这些使用深度学习方法得到的图像细节信息更丰富,图像质量更好,但这些方法难以解决图像密集噪声问题。

针对所述问题,现提出一种新的方法,即融合零参考深度曲线的低照度图像增强与去噪算法,即UMDCEAD-NET算法。该算法的目标是在消除图像噪声的同时,使增强后的图像细节更加丰富。该算法首先设计一个特征提取网络,以N-Net为主干网络,并在主干u-net的下采样过程融入mobile-net,以提高算法特征提取能力,保留更多图像细节信息。其次,算法利用深度曲线估计(LE-曲线)对提取特征进行迭代,利用深度可分离卷积结构来降低参数数量,并设计5个非参考损失函数的循环图像增强策略,提高模型在不同光照条件下的泛化能力。针对增强后图像可能存在的噪声过大等问题,还将降噪网络AD-NET融入算法中。该网络可以对增强后的图像进行去噪处理,从而更好地恢复图像的真实性。经过实验研究发现,在Zero-DCE^[9]和LOL数据集中,与排名第二的Zero-DCE++^[10]算法和SGZ^[11]算法相比,UMDCEAD-NET的平均峰值信噪比分别提高了32%和3%。为了评估图像的视觉质量,邀请了10名测试人员对所有模型增强后的图像进行主观评价和打分。

1 本文方法

收起

现提出融合零参考深度曲线的低照度图像增强与去噪算法(UMDCEAD-NET)。该算法主要包括UMDCE-NET网络结构、LE-曲线、AD-NET模块和损失函数4部分,如图1所示。UMDCE-NET网络结构将mobile-net融入U-Net的下采样模块实现特征提取以避免信息丢失,并结合深度曲线(LE-曲线)估计出最佳的光照增强曲线以解决图像的像素级光照不足的问题。最后,融合了AD-NET对图像进行去噪处理,以解决增强后的图像存在噪声高等问题。

1.1 UMDCE-NET模型

UMDCE-NET模型将mobile-net融入U-Net的下采样模块中,以提取丰富的低照度图像特征信息。通过最近邻插值上采样方法对特征图进行上采样处理。在模块中,mobile-net作为U-Net的主干网络,利用深度可分离卷积对图像进行编码和解码操作,增强了主干网络对特征信息的传递能力,获得了更优异的特征信息表达能力,并减少了网络参数,使网络更轻量化。然后,特征图通过7个对称卷积层进行迭代生成曲线参数图,每次迭代都需要3个三通道(red,green,blue,RGB)的曲线参数图。这种对称的卷积结构最大程度地减少了图像细节的损失,抑制了网络的退化,并保留了重要的图像特征。

深度可分离卷积^[20]可以处理空间维度,还能处理深度维度通道的数量。深度可分离卷积^[20]结构分为逐通道卷积和逐点卷积这两个过程,其结构如图2和图3所示。逐通道卷积^[20]中,一个卷积核对应一个通道,一个通道只使用一个卷积核进行卷积操作,这个过程生成的特征图与输入特征图通道数一样。逐通道卷积^[20]是在二维平面内进行卷积操作的,卷积核的数量与上一层的通道数相同,通道和卷积核是一一对应的。逐点卷积^[20]是一种类似于常规的卷积运算,它通过对上一步特征图在深度方向上进行加权合并,从而生成新的特征图,以实现不同通道之间的特征融合。

1.2 光增强曲线(LE-曲线)

引入LE-曲线的目的主要有三点:①通过LE-曲线得到的增强图像的每个像素值应在[0,1]的归一化范围内,以避免溢出截断而丢失增强图像的信息;②LE-曲线是单调的,并保持相邻像素的差异(对比度);③在梯度反向传播过程中,LE-曲线要简单且可微。

为了达到这3个目的,设计了LE-曲线的公式,即

(1)LE[Q(i),β]=Q(i)+βQ(i)[1-Q(i)]

式(1)中:i为图像像素坐标;LE[Q(i),β]为给定输入Q(i)的增强版;β∈[-1,1],为一个可训练曲线参数,其作用是调整LE-曲线的尺寸和控制曝光水平。

输入的每个像素都在[0,1]的范围内进行归一化,所有操作均是以像素为单位的。将LE-曲线分别应用于3个RGB通道,而不是单独应用于亮度通道。三通道调整能更好地保留原有色彩,减少饱和的风险。

为应对具有挑战性的弱光条件,更好增强低照度区域,去除过曝光伪影,式(1)中定义的LE-曲线可以迭代应用,具体公式为

(2)LE_n(i)=LE_n_-1(i)+β_nLE_n_-1(i)[1-LE_n_-1(i)]

式(2)中:n为迭代次数,其可控制曲率。

设n=32,设置值可以使模型产生令人满意的结果。当n=1时,式(2)可退化为式(1)。

研究了高阶曲线,旨在通过调整图像在更广泛的动态范围内的表现来解决当前全局映射中容易出现过度或不足的局部区域问题。为此,引入了一个像素级参数β,即为输入图像的每个像素赋予了一条与其最佳拟合β相对应的曲线,用于调整动态范围。因此,式(2)可以被重新表述为

(3)LE_n(i)=LE_n_-1(i)+B_nLE_n_-1(i)[1-LE_n_-1(i)]

式(3)中:B为一个与已知图像尺寸相同的参数图。

因为局部区域内的像素具有相同的强度(同样的调整曲线),所以,在输出结果中,相邻像素仍是单调的,以确保增强后图像的每个像素值都处于[0,1]。

1.3 AD-NET降噪模块

AD-NET的输入是增强后的噪声图像,输出是去噪处理后的图像。该网络是由17个卷积层组成,增强后的噪声图像先通过16个卷积层,其中每个卷积层都包括卷积、批归一化和Relu激活函数操作流程,然后把得到的特征图进行拼接并通过Tanh函数激活,最后通过一个卷积层得到去噪图像。去噪后的图像具有较好的真实感,具有较好的视觉效果。

1.4 损失函数

为了改善图像质量并减少噪声,考虑图像的空间布局、色彩和光照等方面的因素。采用以下5种损失类型来训练UMDCEAD-NET网络。

(1)曝光控制损失:L_ecl损失函数可以有效地防止曝光过度和曝光不足的情况,其公式为

(4)L_ecl=

1 R ∑ i = 1 R

|U_i-N|

式(4)中:N为RGB色彩空间中的灰度等级,本文设N=0.7;U为增强后的图像中的平均增强值;R表示大小为16×16的非重叠局部区域的数量。

(2)空间一致性损失:通过使用L_scl损失函数,可以确保增强后的图像与输入的低照度图像在空间上保持一致,公式为

(5)L_scl=

1 D ∑ n = 1 D ∑ m ∈ ω (n) (| A n - A m | - | B n - B m |) 2

式(5)中:D为局部区域的数量;ω(n)为区域中心B中心的4个邻域,包括上、下、左、右;A为增强图像值的局部区域的像素的平均强度;B为输入图像的局部区域的像素的平均强度值。

光照平滑度损失:通过使用L_isl损失函数,可以实现图像亮度的平滑化,同时保持相邻像素之间的单调关系,公式为

(6)L_isl=

1 I ∑ i = 1 I ∑ x ∈ δ (| ∇ m J i x | - | ∇ n J i x |) 2

式(6)中:

∇ m

和

∇ n

分别为水平和垂直梯度的梯度运算;I为迭代次数;δ∈{R,G,B}。

(3)色彩一致性损失:为了纠正增强图像可能存在的颜色偏差,并将每个传感器通道中的颜色作为整个图像的灰色平均值,使用L_ccl损失函数。其表达式为

(7)L_ccl=

∑ ∀ (m, n) ∈ ε (S m - S n) 2

式(7)中:S^m为增强后的图像值中m个通道的平均像素强度值;Sⁿ为增强后的图像值中n个通道的像素值的平均强度;(m,n)为一对通道。

(4)降噪损失:L_nrl损失函数有利于提高低光环境下的图像增强效果,缓解图像的锐化程度,具体公式为

(8)

L n r l n

=-{y_nln[σ(x_n)]+(1-y_n)ln[σ(x_n)]}

(9)σ(x_n)=

1 1 + e x p (- x)

式中:σ(x_n)为Sigmoid函数,像素x映射到(0,1)区间。

(5)总损失。

(10)L_total=μ_eclL_ecl+μ_cclL_ccl+μ_sclL_scl+μ_islL_isl+μ_nrlL_nrl

式(10)中:μ_ecl、μ_scl、μ_ccl、μ_isl和μ_nrl为损失的权重。

2 实验

收起

为了验证所提UMDCEAD-NET算法的有效性,从主观和客观评价两方面进行评估。客观评价方面,在Zero-DCE^[9]数据集和LOL数据集中,本文算法与SRIE^[16]、LIME^[17]、RetinexNet^[18]、Zero-DCE^[9]、Zero-DCE++^[10]、RetinexDIP^[19]和SGZ^[11]7种算法用不同评价指标进行比较;主观评价方面,邀请10名测试人员作为参与者对不同算法增强后图像进行主观打分进行比较。最后,为了证明mobile-net融入U-Net的下采样的模块和AD-NET降噪模块的有效性,及参数设置和降噪水平设置的合理性,进行了消融实验。

实验设置:Zero-DCE数据集它由3 022张不同曝光度的图像组成,该数据集被随机分为两部分,其中2 422张图像用于训练,其余图像用于验证。LOL-datasets数据集包括500个低光/正常图像对,有485对低光/正常训练图像,15张测试图像。

实验在PyTorch环境中进行,使用NVIDIA 3090 GPU,批次大小为32。优化过程是使用ADAM优化器进行的,固定的学习率为1×10^-4。为了平衡损失的规模,权重μ_ecl、μ_scl、μ_ccl、μ_isl和μ_nrl分别被设置为10、10、20、200和0.9。这些设置产生了令人满意的结果。

2.1 定量分析

为了客观地评价该方法的性能,利用两个图像质量评估指标,即峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性指数度量(structure similarity index measure,SSIM)对增强图像进行分析。

表1是UMDCEAD-NET对低照度图像实现的图像增强效果的定量分析结果。将本文方法与几种最先进的方法进行比较,包括SRIE^[16]、LIME^[17]、RetinexNet^[18]、Zero-DCE^[9]、Zero-DCE++^[10]、RetinexDIP^[19]和SGZ^[11]等。这些方法的结果是使用从作者的网站上获得的代码,在推荐的实验设置下产生的。

对于图像质量的评估,PSNR和SSIM指标的值越大,则表示图像的品质越好。PSNR是一种对量化经过有损压缩的图像和视频进行重建质量的方法。PSNR是指峰值信噪比,它是用来比较信号中最大可能功率和形变表现所产生的噪声功率之间的比率。由于很多信号的动态范围非常广,所以一般用对数分贝单位来表示PSNR。另一方面,SSIM用于对两幅图像进行相似性评估。SSIM指数充分利用图像的结构信息,不依赖于亮度、对比度等因素,充分利用了场景中物体的结构特征。失真是由亮度、对比度和结构3个要素综合影响而产生的。亮度的平均值被用来衡量亮度水平,对比度的标准偏差被用来衡量对比度变化程度,而结构的协方差则用来衡量结构的相似性。

Zero-DCE^[9]dataset:所提方法优于其他方法,其平均PSNR和平均SSIM值排名第一,分别为22.29和0.89。此外,与排名第二的增强方法相比,本文方法的平均PSNR指标提高了32%,平均SSIM指标提高了25%,如表1所示。其中RetinexDIP^[15]和SGZ^[11]在数据集中的指标结果由本文结合开源代码自行跑出。

LOL datasets:如表1所示,本文方法优于其他方法,其平均PSNR排名第一,平均SSIM值排名第二,分别为21.15和0.74。其中,与排名第二的增强方法相比,本文方法的平均PSNR指标提高了3%。虽然本文方法的平均SSIM指标排名第二,但是人眼视觉比较发现图4(h)中的整个场景没有完全被照亮,图4(i)的图像质量更好,因此本文方法具有较好的竞争力。其中表1中RetinexNet^[18]、Zero-DCE^[9]、Zero-DCE++^[10]、RetinexDIP^[19]在数据集中的指标结果由本文结合开源代码自行跑出。

2.2 定性分析

邀请10位测试人员参与,其中有5位男性和5位女性。所有参与者须具备较好的视力和色觉,且无图像处理相关经验。测试人员在没有预先查看参考图像的情况下,按照平均主观意见分数(mean opinion score,MOS)对增强后图像进行主观评分,分值从1~5分。在进行下一次的实验之前,所有测试人员都会轮流观看同一组图像。在实验结束后,对所有图像的主观评分进行统计并计算平均值,结果如表2所示。

选择3组图像展示其效果图。图4、图5和图6提供了不同方法不同数据集产生的增强结果之间的视觉比较。SRIE方法在某些区域产生了明显的光晕伪影。此外,如图4(b)、图5(b)和图6(b)所示,SRIE方法没有充分改善图像的可见度。相比之下,本文方法有效地消除了光晕伪影,产生了令人满意的结果。

如图4(c)、图5(c)和图6(c)所示,LIME方法在照亮黑暗区域方面展示了显著的性能,但是不太符合人眼视觉感受。相比之下,本文方法产生的结果看起来更自然,并显著提高了低光照图像的可见度。

从图4~图6可知,RetinexNet的增强结果表现出过度曝光的伪影;Zero-DCE和Zero-DCE++提出的方法增强结果有较大的噪声,导致增强后的图像出现颜色偏差;RetinexDIP和SGZ方法存在不能清晰地恢复图像中的细节且亮度过低等问题。在所有被比较的方法中,本文方法成功地保留了纹理信息,并生成了无伪影的图像,更加符合人眼的视觉感受。

2.3 消融实验

为了评估UMDCEAD-NET中每个组件的影响,进行了消融实验。此外,为了研究各种参数设置的效果,对UMDCEAD-NET的不同参数配置进行了比较,并分析了不同参数配置对图像增强性能的影响。

(1)UMDCEAD-NET的每个组成部分的影响:通过消融实验评估UMDCEAD-NET不同组成部分的性能,实验结果如表3和图7所示。实验由两部分组成:一部分是把mobile-net融入U-Net的下采样模块,另一部分是增加了AD-NET降噪模块。为了评估UMDCEAD-NET比UMDCEAD-NET1(只包括mobile-net融入u-net的下采样模块)和UMDCEAD-NET2(只包括AD-NET降噪模块)的性能改进,利用PSNR、SSIM两种指标来比较不同模型的性能。

从表3中可知,所提出的方法UMDCEAD-NET在PSNR指标中比UMDCEAD-NET1增加了29%,比UMDCEAD-NET2增加了24%。UMDCEAD-NET在SSIM方指标比UMDCEAD-NET1高12%,比UMDCEAD-NET2高25%。从图7可知,UMDCEAD-NET相比其他模型得到的结果图像具有更完整的细节信息,视觉上更舒适,图像颜色更自然,具有更强的鲁棒性。

(2)参数设置的影响:为了评估UMDCEAD-NET中参数的影响,对迭代次数进行了实验。利用4种不同的批次大小(即4、8、16和32)来训练网络模型,分别表示为UMDCEAD-NETB4、UMDCEAD-NETB8、UMDCEAD-NETB16和UMDCEAD-NETB32(最终的UMDCEAD-NET)。4种不同批次大小的模型生成图像对比图如图8所示,4种不同批次大小的模型在PSNR、SSIM和LPIPS指标中的比较如表4所示。从表4可知,UMDCEAD-NETB32在PSNR、SSIM指标比较中结果都高于其他批次大小的模型;在LPIPS指标比较中,得到的结果都低于其他批次的大小,其中可学习感知图像块相似度(learned perceptual image patch similarity,LPIPS)是一种用于测量两幅图像之间感知相似性的指标,值越小,图像更好模拟人类视觉感知。如图8所示,UMDCEAD-NETB4和UMDCEAD-NETB8生成的图像曝光过度,UMDCEAD-NETB16生成的图像亮度不够;UMDCEAD-NETB32生成的图像在亮度、细节信息和噪声方面都优于其他算法。因此,本文设置批次大小为32,UMDCEAD-NETB32为最终模型。

(3)降噪水平的影响:研究了不同降噪水平N对UMDCEAD-NET网络性能的影响。利用5个不同的降噪水平N(0.7、0.8、0.9、1.0和1.1)训练UMDCEAD-NET网络模型,分别表示为UMDCEAD-NETN0.7、UMDCEAD-NETN0.8、UMDCEAD-NETN0.9(即本文设置的参数)、UMDCEAD-NETN1.0和UMDCEAD-NETN1.1。5种不同网络模型在PSNR和SSIM指标中的比较如表5所示。

从表5可知,UMDCEAD-NETN0.9的增强结果在PSNR和SSIM指标方面优于其他4种不同降噪水平的模型的增强结果。从图9可知,UMDCEAD-NETN0.9的图像纹理和细节十分丰富且具有良好的视觉感官度和亮度;UMDCEAD-NETN1.1图像的暗部和亮部纹理存在缺失;UMDCEAD-NETN0.8和UMDCEAD-NETN1.0的增强结果亮度不足;UMDCEAD-NETN0.7的增强结果缺失图像细节信息且亮度不足。以上实验证明了降噪水平N=0.9的UMDCEAD-NETN0.9为最优网络模型。

3 结论

收起

针对低照度图像不易处理的问题,提出了融合零参考深度曲线的低照度图像增强与去噪算法(UMDCEAD-NET)。该方法以U-Net为主干网络,并在主干U-Net的下采样过程融入mobile-net,以提高算法特征提取能力,保留更多图像细节信息。其次,为解决图像像素级光照不足、网络的退化的问题,利用深度曲线估计(LE-曲线)对提取特征进行迭代,结合深度可分离卷积降低了网络模型的参数量,并设计5个非参考损失函数,从而提高算法在不同光照条件下的泛化能力和细节保留能力,提升算法的效率。最后通过AD-NET模块实现图像去噪。实验结果表明,本文算法能有效增强图像细节信息,解决图像噪声大等问题。在未来研究中,将尝试把逆扩散过程的理念与网络结构相结合,以优化低光增强图像的性能。

基金

收起

中国人民公安大学安全防范工程双一流专项(2023SYL08)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

张发军, 彭文刚, 虞成俊, 等. 对比度受限下直方图均衡化处理的木板纹路图像增强算法[J]. 科学技术与工程, 2020, 20(21): 8629-8636.

Zhang

Fajun

, Peng

Wengang

, Yu

Chengjun

, et al. Algorithm for image enhancement of wood texture based on contrast-limited adaptive histogram equalization[J]. Science Technology and Engineering, 2020, 20(21): 8629-8636.

[2]

杨卫中, 徐银丽, 乔曦, 等. 基于对比度受限直方图均衡化的水下海参图像增强方法[J]. 农业工程学报, 2016, 32(6): 197-203.

Yang

Weizong

, Xu

Yinli

, Qiao

, et al. Method for image intensification of underwater sea cucumber based on contrast-limited adaptive histogram equa1ization[J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(6): 197-203.

[3]

董丽丽, 丁畅, 许文海. 基于直方图均衡化图像增强的两种改进方法[J]. 电子学报, 2018, 46(10): 2367-2375.

Dong

Li1i

, Ding Chang, Xu Wenhai. Two improved methods based on histogram equa1ization for image enhancement[J]. Acta Electronica Sinica, 2018, 46(10): 2367-2375.

[4]

林森, 周天飞. 双透射率成像模型与Retinex融合的水下图像清晰化[J]. 科学技术与工程, 2021, 21(18): 7627-7634.

Lin

Sen

, Zhou Tianfei. Underwater image sharpening based on fusion of double transmission imaging model and Retinex[J]. Science Technology and Engineering, 2021, 21(18): 7627-7634.

[5]

李启明, 阙祖航. 基于改进YOLOv5的X射线图像危险品检测[J]. 科学技术与工程, 2023, 23(4): 1598-1606.

Qiming

, Que

Zuhang

. Detection of dangerous objects in X-ray images based onimproved YOLOv5[J]. Science Technology and Engineering, 2023, 23(4): 1598-1606.

[6]

颜承壮, 皇攀凌, 周军, 等. 基于改进多尺度 Retinex的墙体开槽机器人目标检测与定位[J]. 科学技术与工程, 2023, 23 (36): 15530-15537.

Yan

Chengzhuang

, Huang

Panling

, Zhou

Jun

, et al. Target detection and location of wall slotting robot based on improved multi-scale Retinex[J]. Science Technology and Engineering, 2023, 23(36): 15530-15537.

[7]

, Liu

, Yang

, et al. Structure-revealing low-light image enhancement via robust retinex model[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2828-2841.

[8]

Wang

, Zhang

, Fu

C W

, et al. Underexposed photo enhancement using deep illumination estimation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 6849-6857.

[9]

Guo

, Li

, Guo

, et al. Zero-reference deep curve estimation for low-light image enhancement[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and pattern Recognition. Seattle: IEEE, 2020: 1780-1789.

[10]

, Guo

, Loy

C C

. Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(8): 4225-4238.

[11]

Zheng

, Gupta

. Semantic-guided zero-shot learning for low-light image/video enhancement[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New Orleans: IEEE, 2022: 581-590.

[12]

, Yang

, Tu

, et al. Learning a simple low-light image enhancer from paired low-light instances[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 22252-22261.

[13]

Jiang

, Luo

, Fan

, et al. Low-light image enhancement with wavelet-based diffusion models[J]. ACM Transactions on Grap-hics (TOG), 2023, 42(6): 1-14.

[14]

Zhou

, Yang

. Pyramid diffusion models for low-light image enhancement[J]. arXiv preprint arXiv: 2305.10028,2023.

[15]

Feng

, Zhang

, Wang

, et al. You only need one color space: an efficient network for low-light image enhancement[J]. arXiv preprint arXiv: 2402.05809, 2024.

[16]

, Zeng

, Huang

, et al. A weighted variational model for simultaneous reflectance and illumination estimation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 2782-2790.

[17]

Guo

, Li

, Ling

. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2016, 26(2): 982-993.

[18]

Wei

, Wang

, Yang

, et al. Deep retinex decomposition for low-light enhancement[J]. arXiv preprint arXiv: 1808.04560, 2018.

[19]

Zhao

, Xiong

, Wang

, et al. RetinexDIP: a unified deep framework for low-light image enhancement[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(3): 1076-1088.

[20]

Sifre

, Mallat

. Rigid-motion scattering for texture classification[J]. arXiv preprint arXiv: 1403.1687, 2014.

2025年第25卷第2期

PDF下载

273

106

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2308919

接收时间：2023-11-14
首发时间：2025-12-05
出版时间：2025-01-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-11-14
修回日期：2024-10-21

基金

中国人民公安大学安全防范工程双一流专项(2023SYL08)

作者信息

中国人民公安大学信息网络安全学院, 北京 100038

通讯作者:

^* 丁建伟(1984—),男,汉族,湖北随州人,博士,副教授。研究方向:计算机视觉与人工智能安全。E-mail:jwding@ppsuc.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2308919

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

方法	Zero-DCE dataset	LOL datasets
SRIE	14.41	0.54	—	—
LIME	16.17	0.57	—	—
RetinexNet	15.99	0.53	7.58	0.30
Zero-DCE	16.57	0.59	13.29	0.63
Zero-DCE++	16.79	0.57	13.94	0.67
RetinexDIP	12.90	0.71	11.88	0.41
SGZ	12.10	0.60	20.60	0.79
本文方法	22.29	0.89	21.15	0.74

方法

Zero-DCE dataset

LOL datasets

PSNR(↑)

SSIM(↑)

PSNR(↑)

SSIM(↑)

SRIE

14.41

0.54

—

LIME

16.17

0.57

—

RetinexNet

15.99

0.53

7.58

0.30

Zero-DCE

16.57

0.59

13.29

0.63

Zero-DCE++

16.79

0.57

13.94

0.67

RetinexDIP

12.90

0.71

11.88

0.41

SGZ

12.10

0.60

20.60

0.79

本文方法

22.29

0.89

21.15

0.74

图片编号	SRIE	LIME	RetinexNet	Zero-DCE	Zero-DCE++	RetinexDIP	SGZ	本文方法
1	2.20	2.55	2.80	3.05	3.20	3.10	3.30	3.45
2	2.25	2.50	2.90	3.00	3.15	2.90	3.35	3.30
3	2.10	2.40	2.95	2.95	3.20	2.80	3.00	3.40
4	2.50	2.55	2.90	3.10	3.05	3.00	2.95	3.15
5	2.45	2.30	3.00	3.10	3.00	2.75	3.15	3.20
6	2.45	2.35	3.05	3.00	3.15	3.05	3.05	3.25
7	2.00	2.50	2.85	3.15	3.25	3.10	3.10	3.35
8	2.60	2.65	2.95	3.10	3.20	3.10	3.25	3.40
9	2.35	2.60	2.90	3.05	3.10	3.00	3.30	3.45
10	2.20	2.60	3.00	3.00	3.05	3.10	3.05	3.10

图片编号

SRIE

LIME

RetinexNet

Zero-DCE

Zero-DCE++

RetinexDIP

SGZ

本文方法

2.20

2.55

2.80

3.05

3.20

3.10

3.30

3.45

2.25

2.50

2.90

3.00

3.15

2.90

3.35

3.30

2.10

2.40

2.95

3.20

2.80

3.00

3.40

2.50

2.55

2.90

3.10

3.05

3.00

2.95

3.15

2.45

2.30

3.00

3.10

3.00

2.75

3.15

3.20

2.45

2.35

3.05

3.00

3.15

3.05

3.25

2.00

2.50

2.85

3.15

3.25

3.10

3.35

2.60

2.65

2.95

3.10

3.20

3.10

3.25

3.40

2.35

2.60

2.90

3.05

3.10

3.00

3.30

3.45

2.20

2.60

3.00

3.05

3.10

3.05

3.10

方法	PSNR(↑)	SSIM(↑)
低照度图像	10.71	0.33
本文方法	22.89	0.89
只包括mobile-net融入U-Net的下采样模块	17.61	0.79
只包括AD-NET降噪模块	18.45	0.64

方法

PSNR(↑)

SSIM(↑)

低照度图像

10.71

0.33

本文方法

22.89

0.89

只包括mobile-net融入U-Net的下采样模块

17.61

0.79

只包括AD-NET降噪模块

18.45

0.64

方法	PSNR (↑)	SSIM (↑)	LPIPS (↓)
批次大小为2	10.71	0.33	—
批次大小为4	14.48	0.606	0.289
批次大小为8	14.63	0.615	0.299
批次大小为16	19.35	0.87	0.159
本文方法	22.89	0.89	0.085

方法

PSNR (↑)

SSIM (↑)

LPIPS (↓)

批次大小为2

10.71

0.33

—

批次大小为4

14.48

0.606

0.289

批次大小为8

14.63

0.615

0.299

批次大小为16

19.35

0.87

0.159

本文方法

22.89

0.89

0.085

方法	PSNR (↑)	SSIM (↑)
低照度图像	10.71	0.33
降噪水平=0.7	17.39	0.79
降噪水平=0.8	18.32	0.81
本文方法	22.89	0.89
降噪水平=1.0	19.71	0.74
降噪水平=1.1	20.06	0.80

方法

PSNR (↑)

SSIM (↑)

低照度图像

10.71

0.33

降噪水平=0.7

17.39

0.79

降噪水平=0.8

18.32

0.81

本文方法

22.89

0.89

降噪水平=1.0

19.71

0.74

降噪水平=1.1

20.06

0.80