图学学报

方法	PSNR/dB↑	SSIM↑	LPIPS↓	推理时间/s↓
文献[37]	24.97	0.897	0.137	0.098 8
文献[38]	27.45	0.904	0.034	0.096 4
文献[13]	28.76	0.924	0.029	1.358 4
文献[20]	30.60	0.967	0.021	3.945 4
文献[16]	30.61	0.769	0.018	1.574 1
本文方法	30.68	0.973	0.020	0.076 1

方法	PSNR/dB↑	SSIM↑	LPIPS↓	推理时间/s↓
文献[37]	24.97	0.897	0.137	0.098 8
文献[38]	27.45	0.904	0.034	0.096 4
文献[13]	28.76	0.924	0.029	1.358 4
文献[20]	30.60	0.967	0.021	3.945 4
文献[16]	30.61	0.769	0.018	1.574 1
本文方法	30.68	0.973	0.020	0.076 1

方法	运行内存/G↓	参数/百万↓	PSNR/dB↑
CA	10.14	1.65	30.53
SCA	9.67	1.61	30.58
PA	9.56	1.65	30.52
SPA	9.14	1.61	30.56
FA	10.63	2.07	30.60
NAFFA	9.75	1.84	30.65

方法	运行内存/G↓	参数/百万↓	PSNR/dB↑
CA	10.14	1.65	30.53
SCA	9.67	1.61	30.58
PA	9.56	1.65	30.52
SPA	9.14	1.61	30.56
FA	10.63	2.07	30.60
NAFFA	9.75	1.84	30.65

用于夜视辅助驾驶的轻量化图像眩光去除方法

PDF下载

李晔 ¹ , 贾俊洋 ¹ , 黄冠 ¹ , 李玉洁 ² , 齐文婷 ¹ , 刘岩 ¹

图学学报 | 图像处理与计算机视觉 2026,47(1): 57-67

收起

图学学报 | 图像处理与计算机视觉 2026, 47(1): 57-67

用于夜视辅助驾驶的轻量化图像眩光去除方法

全屏

李晔¹, 贾俊洋¹, 黄冠¹, 李玉洁², 齐文婷¹, 刘岩¹

作者信息

¹ 郑州轻工业大学计算机科学与技术学院，河南郑州 450002

² 桂林电子科技大学人工智能学院，广西桂林 541004

通讯作者:

刘岩，E-mail：lyanzju@zzuli.edu.cn

A lightweight image flare removal method for night vision assisted driving

Ye LI¹, Junyang JIA¹, Guan HUANG¹, Yujie LI², Wenting QI¹, Yan LIU¹

Affiliations

¹ School of Computer Science and Technology, Zhengzhou University of Light Industry, Zhengzhou Henan 450002, China

² School of Artificial Intelligence, Guilin University of Electronic Science and Technology, Guilin Guangxi 541004, China

出版时间: 2026-02-28 doi: 10.11996/JG.j.2095-302X.2026010057

文章导航

摘要

收起

夜视环境下，强光源引发的眩光干扰显著降低图像质量，影响夜视辅助驾驶系统的感知性能，现有眩光去除算法面临鲁棒性不足、计算复杂度高以及光源信息丢失等问题。为此，提出了一种面向夜视辅助驾驶的轻量化图像眩光去除方法(NFR-Net+)旨在提升图像清晰度并满足移动端实时计算需求。首先设计特征过滤机制，结合残差连接策略，增强网络对复杂夜视场景的特征提取能力，有效抑制过拟合，从而在不同光照条件和眩光类型下实现稳定的眩光去除效果。其次，引入非线性无激活特征注意力模块，通过轻量化设计构建高效注意力机制，显著提升图像细节重建质量，同时将模型参数量降低约8.28%，运行内存减少约11.1%，大幅优化计算效率。此外，针对传统方法中光源信息过度去除导致图像自然度下降的问题，优化了分割网络中的光源提取模块，通过改进的光源分离策略，精确保留光源区域的亮度和纹理信息，确保输出图像的真实性和自然感。实验结果表明，NFR-Net+在结构相似性(SSIM)、峰值信噪比(PSNR)和学习感知图像块相似度(LPIPS)等图像质量评估指标上均优于现有主流方法，表现出更高的去眩光性能和细节保留能力。同时，该方法在多种夜视场景和不同硬件设备上均展现出良好的适应性，能够满足实时处理的高效性要求，为智能视觉系统在资源受限的移动端部署提供了可行性。进一步的消融实验验证了各模块的有效性，凸显了特征过滤和注意力机制在提升性能与降低资源消耗中的关键作用。且为夜间自动驾驶和智能监控等应用场景提供了高效、轻量化的解决方案。

关键词

眩光去除 / 夜视环境 / 光源信息 / 非线性无激活 / 轻量化

Abstract

收起

In night-vision environments, image quality was significantly degraded by glare from intense light sources, impairing the performance of night-vision assisted driving systems. Existing flare-removal algorithms suffer from limited robustness, high computational complexity, and loss of light-source information. To address these challenges, a lightweight image flare-removal method, Night Flare Removal Network+ (NFR-Net+), was proposed to enhance image clarity while meeting the real-time computational demands of mobile devices. The approach first incorporated a feature-filtering mechanism combined with residual connection strategies to strengthen feature extraction capabilities, effectively mitigating overfitting and ensuring robust flare removal across diverse lighting conditions and flare types. Additionally, a nonlinear, activation-free feature attention module was introduced. Via a lightweight design, an efficient attention mechanism was constructed that significantly improved image-detail reconstruction while reducing model parameters by approximately 8.28% and runtime memory by about 11.1%, thereby optimizing computational efficiency. To tackle the issue of diminished image naturalness due to excessive light-source removal in traditional methods, an enhanced light-source extraction module was developed within the segmentation network. This module employed an improved light-source separation strategy to accurately preserve brightness and texture details in light-source regions, ensuring the authenticity and naturalness of output images. Experimental results demonstrated that NFR-Net+ surpassed state-of-the-art methods on image quality metrics such as Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR), and Learned Perceptual Image Patch Similarity (LPIPS), exhibiting superior flare-removal performance and detail preservation. The method also demonstrated strong adaptability across various night-vision scenarios and hardware devices, fulfilling the efficiency requirements for real-time processing. Ablation studies further validated the effectiveness of individual components, highlighting the critical role of feature filtering and attention mechanisms in balancing performance and resource consumption. This approach provided an efficient, lightweight solution for applications such as nighttime autonomous driving and intelligent surveillance.

Key words

flare removal / night vision environment / light source information / nonlinear no activation / lightweight

引用本文

李晔, 贾俊洋, 黄冠, 李玉洁, 齐文婷, 刘岩. 用于夜视辅助驾驶的轻量化图像眩光去除方法. 图学学报, 2026 , 47 (1) : 57 -67 . DOI: 10.11996/JG.j.2095-302X.2026010057

Ye LI, Junyang JIA, Guan HUANG, Yujie LI, Wenting QI, Yan LIU. A lightweight image flare removal method for night vision assisted driving[J]. Journal of Graphics, 2026 , 47 (1) : 57 -67 . DOI: 10.11996/JG.j.2095-302X.2026010057

正文

收起

透镜眩光是一种由强光源干扰引发的光学现象，眩光以多种形状、位置和颜色出现，导致拍摄图像中出现过度曝光区域和放射性线条，严重降低图像质量和视觉算法的性能^[1]。在监控镜头、智能手机摄像头、无人机及自动驾驶摄像头等移动平台上出现的日常磨损、指纹和灰尘都可能加剧镜头的眩光干扰^[2]，尤其在复杂的夜视场景中，其干扰更为显著。随着智能视觉系统的快速发展，消除图像细节干扰的需求日益增加，夜视环境中的眩光去除算法提高了视觉任务的准确度，从而增强夜间自动驾驶技术^[3]的安全性，有效推动智能交通系统技术的发展。

目前，常见的去除眩光的解决方案主要分为基于硬件和软件的解决方案。基于硬件的解决方案主要集中在改善相机的光学性能以缓解眩光影响，包括优化镜筒设计、应用增透膜或反射涂层。例如，BOYNTON和KELLEY^[4]设计了一台充满流体的相机，RASKAR等^[5]在成像传感器顶部插入了透明掩模，而MACLEOD^[6]则使用中性密度滤光片替代圆偏振器。然而，AR(Anti-Reflection)抗反射涂层的添加成本高昂，且其厚度只能针对特定波长和入射角进行优化。这些硬件方法可以缓解眩光效应，但不能解决眩光的固有问题，尤其是在智能手机和显示器成像中。综上，基于硬件的解决方案由于成本高、不利于广泛应用，无法处理已存在眩光干扰的图像。

传统的基于软件的解决方案首先检测识别眩光，然后进行眩光中小亮斑的去除。例如VITORIA和BALLESTER^[7]通过过度暴露眩光点附近的特征来检测眩光，并创建掩码以去除眩光。ASHA等^[8]则关注在太阳光源或闪光光源背景下常出现的亮点问题，通过检测光源点并填充亮点区域来修复图像。然而，由于变量众多，传统的基于软件的解决方案仅适用于有限类型的眩光，难以区分不同类型的眩光干扰。最近，基于深度学习的方法在各种视觉任务上取得了巨大成功，一些方法将深度学习模型应用于眩光去除类似的场景，包括图像去噪^[9]、图像去雾^[10]和雨水去除^[11]等。这些方法有一个共同的特点，即通过训练神经网络将图像分解为干净和损坏分量，然后去除损坏分量恢复出理想的图像。其成功在很大程度上取决于高质量的、特定领域的训练数据集。但由于难以收集大量的眩光和无眩光的完全对准图像，导致基于深度学习的眩光去除方法进展缓慢，阻碍了对于夜间需要高质量视觉感知任务的发展。QIAN等^[12]提出了一种光源引导的学习网络，使用未配对的数据来训练和执行眩光去除，但该网络在多数场景中主要用于解决由眩光引起的伪影，对于真实世界夜视场景中更为复杂的散射眩光来说鲁棒性较差。随后，WU等^[13]提出了一个基于深度学习的眩光去除方法，即通过UNet模型^[14]重建无眩光图像来去除眩光，在后处理步骤中将光源信息重新整合到恢复的图像中。包括本文在内的许多后续方法都使用了类似流程(首先去除眩光，然后将光源重新添加到图像中)。DAI等^[15]采用了类似的结构，提出了一种通过模拟夜间眩光产生的光学原理来合成眩光的方法创建Flare7K数据集。最近，JIANG等^[16]利用类似流程进行图像低频和高频带信息进行眩光去除以及无眩光图像重建，通过在多个频带中处理而不是直接去除输入夜间图像上的眩光来降低计算成本，但在去除眩光的同时，仍存在损失图像细节和自然度和计算成本较高等问题^[17-18]。近期有一些工作已经开始将基于Transformer^[19]的体系结构纳入到框架之中用于图像恢复任务并且取得了优异的效果，如Uformer网络^[20]可以利用自注意力能力来恢复更多的图像细节并且网络能够更好的获取本地上下文信息。在夜视环境眩光去除任务中，眩光的范围通常覆盖大面积甚至整个图像，全局信息对于准确识别眩光来说至关重要。

在夜视自动驾驶、边缘设备等资源受限场景下，图像去雾、去噪乃至去眩光等恢复任务对实时性和模型效率提出了严格要求。为此，研究者借鉴MobileNet^[21]和EfficientNet^[22]等经典轻量级网络结构设计高效恢复模型。如FU等^[23]通过高斯-拉普拉斯金字塔将复杂的去雨问题分解到不同层级，每层仅需浅层网络进行处理，模型参数量不足8 K却实现了去雨任务的领先性能；LI等^[24]则在去雾中将大气光与透射率映射合并为单一参数，有效地简化了网络结构。此外，轻量化Transformer结构，如WANG等^[25]提出的Uformerr-T变体仅需5.23 M参数即可在真实去噪上达到39.66 dB峰值信噪比(Peak Signal to Noise Ratio, PSNR)；Difflle^[26]结合了小波变换和扩散模型的优势，在低光照图像增强的同时显著加快了推理速度并降低了计算资源的消耗。

综上，基于深度学习已有的眩光去除工作主要通过分解图像分量完成去除眩光，但由于高质量、特定领域数据集的缺乏，相关研究在复杂夜视场景中表现出局限性。现有方法多通过频带分解策略实现眩光去除并重建无眩光图像，但仍存在细节丢失、自然度不足和计算成本较高等问题。基于此，本文从数据生成和网络设计2个方面对夜视环境中的眩光去除问题展开研究，借鉴在其他任务的网络轻量化经验，提出了一种轻量化的图像眩光去除方法，其主要贡献如下：

1) 提出了一种轻量化的图像眩光去除方法(Night Flare Removal Network+, NFR-Net+)，通过在网络中使用眩光去除模块和光源提取模块，通过单幅眩光图像的输入，得到干净无眩光图像。

2) 转换器模块中使用了特征过滤机制和非线性无激活特征注意力模块，有效减少了网络的参数量和内存使用，提高了网络的实时性能。

3) 实验结果表明，与其他方法相比能够更好的恢复夜间眩光图像。

1 网络结构

收起

1.1 整体网络结构

眩光去除网络NFR-Net+分2个模块：眩光去除模块和光源提取模块，总体框架如图1所示。Transformer已被证明在处理图像恢复任务时取得了优异的效果，将其直接应用于夜间眩光去除任务时，往往被破坏到光源信息。NFR-Net+首先利用眩光去除模块从输入图像中获得完全去除眩光区域(包含光源信息)的无眩光图像后，通过输入图像减去无眩光图像来获得预测的仅眩光图像，然后光源提取模块对仅眩光图像进行处理，以分离完整的光源信息，最后将光源信息混合到无眩光图像中，以在无眩光干扰的情况下获得最终结果，并合理地保留光源信息。

1.2 眩光去除模块

眩光去除模块的编码器包含k个阶段，每阶段由一个下采样层和改进的局部增强窗口转换器块组成；解码器与编码器类似，每级由上采样层和相应的转换器块组成。在解码器的每个阶段之后添加调制器，可以灵活地调整特征图，从而提高细节恢复性能。如图1所示，眩光去除模块的主体结构是改进的局部增强窗口转换器块，其在原Uformer的转换器上增加了特征过滤机制和非线性无激活特征注意力模块，具体改进结构如图2所示。类似的思路也在其他视觉增强工作中得到验证，如UDAformer在水下图像增强中引入双注意力机制以同时关注局部与全局特征，有效缓解了复杂退化场景下的特征提取困难^[27]。

自注意力机制能够使网络更灵活地捕捉图像中的长距离依赖关系，通过对不同位置特征进行关联性计算，实现对图像全局和局部信息的有效整合，有助于网络在生成图像时更好地关注重要区域。然而，注意力机制也会引入与眩光去除无关的冗余特征，导致计算成本过高，且过多注意力机制可能造成过拟合。为此，本文在局部增强窗口转换器块中添加了特征过滤机制，以降低无关特征的干扰，并引入类似于SENet的通道注意力思想^[28]，通过自适应地调整特征通道权重来提升有效特征的表达能力。注意力机制中的通道注意力^[23]允许模型动态地选择输入特征中的相关通道，并为每个通道分配适当的权重，以便更好地区分不同特征的重要性有助于模型学习到更具有判别性的特征表示，像素注意力^[29]允许模型动态地选择输入特征中的相关通道，并为每个通道分配适当的权重，以便更好地区分不同特征的重要性有助于模型学习到更具有判别性的特征表示，通道以及像素注意力机制在受用的同时会显著增加模型的参数量，这可能会增加模型的训练时间和资源消耗，并增加模型的复杂度，为响应有限资源的计算机视觉任务需求，本文在眩光去除模块中使用了简化注意力机制的非线性无激活特征注意力模块。

1.2.1 特征过滤机制

为了减轻注意力机制的高计算成本和过拟合问题，在夜间眩光去除网络的局部增强窗口转换器块中，融入了一个特征过滤机制。该机制的具体操作流程如下：

1) 借助注意力机制来确定输入特征在当前特征维度上的权重分配，即

(1)$W_{i}^{\prime}=F C\left(\operatorname{Avg} \operatorname{Pool}\left(F_{i}\right)\right)$

(2)$W_{i}=\sigma\left(F C\left(\operatorname{ReLU}\left(W_{i}^{\prime}\right)\right)\right)$

式中：${F}_{i}$表示第$i$个特征维度的特征；${W}_{i}$表示第$i$个特点维度的注意力权重；$\text{σ}$表示Sigmoid函数。

2) 设置阈值$\Theta $来过滤注意力权重，基于特征过滤的W-MSA可以选择那些具有高权重的特征，并提取更有价值的信息来计算自注意力，即

(3)$Fs=\left\{\begin{array}{cc}\text{Concat}\text{(}Fs\text{,W}s\text{,}Fi\text{)}，& Wi\ge \Theta \\ Fs，& Wi\le \Theta \end{array}\right.$

式中：$F\text{s}$表示使用的特征滤波所选择的特征。

3) 为了避免过拟合，将输入特征$Fi$与相应的输出添加了残差连接，得到

(4)$\widehat{F}s\text{=}W\text{-}MSA\text{(}LN\text{(}Fs\text{))+}Fs$

(5)$\widehat{F}i=L\text{e}FF(LN(\widehat{F}s)+Fi$

式中：W-MSA和$LeFF$分别为原本转换器块^[19]中的基于窗口的多头自注意力机制和局部增强前馈网络；$LN$表示层归一化，特征过滤机制的具体实现过程如图3所示。

如图3所示，特征过滤机制首先涉及到一个平均池化层，该层通过对输入特征图实施平均池化，达到降采样目的，旨在缩减特征图的尺寸并提炼出核心特征。这一操作是通过对各个池化区域内部的特征值求平均来实现的。紧接着，全连接层将经过池化处理的特征图转换成一维向量形式。随后，将一维向量与权重矩阵进行矩阵乘法运算，并加上偏置项，以执行线性变换。此步骤的核心目的在于学习特征的线性组合，从而生成更为高级的特征表述。

在全连接层后，引入非线性激活函数$\text{ReLU}$，其目的是为了在网络中引入非线性映射能力，从而允许网络学习到更为复杂多变的函数关系。这一非线性激活函数对于模型学习非线性特征至关重要，其显著增强了网络的表达能力。紧接着，又有一个全连接层被应用，其后紧跟着一个Sigmoid激活函数。通过Sigmoid激活函数，特征过滤机制能够高效地筛选出低质量的特征，仅保留网络所需的高级特征，进而提升了模型的计算效率。

1.2.2 非线性无激活特征注意力模块

在网络中，通道注意力和像素注意力的应用旨在引导网络更加高效地关注不同的特征和像素区域，为处理多样化信息提供额外的灵活性。由于不同的通道特征和像素特征蕴含着各异的加权信息，注意力模块能够捕捉通道维度或像素维度上的长期全局依赖性，这一特性在图像恢复任务中尤为重要，并已被多项研究所证实^[30-31]。具体来说，通道注意力机制(Channel Attention, CA)的实现过程涉及2个关键步骤：

1) 将空间信息整合到通道维度，实现空间信息的压缩；

2) 应用多层感知器(Multi-Layer Perceptron, MLP)来计算通道注意力权重，并将其用于对特征图进行加权处理。

CA的表达式如式(6)，而像素注意力机制 (Pixel Attention, PA)的操作原理类似于通道注意力机制，只是缺少了池化层，像素注意力机制的原理如式(7)，即

(6)$CA(X)=X*\text{σ}({W}_{C2}\mathrm{max}(0,{W}_{C1}pool(X)))$

(7)$PA(X)=X*\text{σ}({W}_{P2}\mathrm{max}(0,{W}_{P1}(X)))$

式中：$X$表示特征图；$pool$表示将空间信息聚合到通道中的全局平均池化操作；$\text{σ}$表示采用Sigmoid的非线性激活函数；$W$表示全连通层，即2个全连通层之间采用$\text{ReLU}$激活函数；$*$表示通道逐元素相乘操作，通常指的是对于输入张量的每个通道，对应元素进行相乘操作。

根据通道注意力机制和像素注意力机制的表达式可以看出其本身包含非线性且并不依赖于$\text{σ}$，因此在本文中使用了一种新的非线性无激活特征注意力模块NAFFA(Nonlinear Activation Free Feature Attention)，该模块结合了简化通道注意力和简化像素注意力。

首先通过使用全局平均池化将全局空间信息转换为一个通道描述符$gc$，即

(8)$gc=Hp(Fc)=\frac{1}{H\times W}{\displaystyle \sum _{i=1}^{H}{\displaystyle \sum _{j=1}^{W}{X}_{c}^{}}}(i,j)$

式中：$HP$表示全局池函数；$Xc(i,j)$表示位置$(i,j)$处第$C$个通道$Xc$的值，特征图的形状从$C\times H\times W$变为$C\times 1\times 1$。

之后，为了获得不同通道的权重，特征通过卷积层，将输入$X$和通道的权重进行逐元素乘法，简化的通道注意力机制$\text{SCA}$的表达式如式(9)，简化的像素注意力机制SPA与$\text{SCA}$类似。具体可将$\text{SCA}$的输出直接馈送到一个卷积层中，并将特征的形状从$C\times H\times W$改变为$1\times H\times W$，将$\text{SPA}$的输出直接传递到一个卷积层，以实现在减少参数数量的同时保持性能，SPA的表达式如式(10)，即

(9)$SCA(X)=X*\text{Conv}(g)$

(10)$SPA(X)=X*\text{Conv}(SCA(X))$

式中：$X$表示特征图。$\text{SCA}$是由NAFNet^[32]提出的，其保留了通道注意力的2个最重要的作用：聚合全局信息和通道信息交互。$\text{SCA}$具有较少的参数及更好的性能。具体简化之后的$\text{SCA}$与$\text{SPA}$的结构与之前的$\text{CA}$和PA的对比如图4所示。

总的来说，NAFFA相较于标准CA+PA，模型参数量减少约30%，其使得模型更易于轻量化部署，并去掉MLP中的激活函数和全连接层，有效的抑制了模型对噪声特征的过度学习，有效避免模型的过拟合问题。

1.3 光源提取模块

眩光去除网络旨在通过消除散射眩光引起的干扰来增强夜视图像的视觉感知。然而在真实的夜视场景中，彻底去除所有光源是不现实的。从被眩光破坏的图像中分离光源是一项具有挑战性的任务，因为仅眩光的数据往往同时包含光源和伴随的散射眩光。在实践中，当训练不足或模型欠拟合时，网络易倾向于直接去除光源信息，并尝试修复光源背后的区域，使其与周围像素保持一致。但在场景过度曝光或光斑过亮的情况下，仅依赖传统的图像分解式网络往往难以准确恢复光源信息，从而导致最终结果偏离真实夜视场景。近期研究表明，轻量化的图像恢复模型（如Uformer++）在保持较低计算开销的同时能够更有效地分离退化信息^[33]，而一些简化基线方法也展示了在图像修复任务中的鲁棒性与有效性^[34]。受此启发，本文提出了一种光源提取模块，用于进一步应对光源信息与过度曝光区域分离的挑战。

与光源相邻的图像区域往往遭受由散射眩光引起的不同程度的图像退化，更宽的感受野范围有助于网络获得更多相邻像素的信息，并使图像眩光去除的结果更加自然和清晰。基于U-Net网络的光源提取模块的编码器部分使用结合了标准卷积和扩展卷积的混合卷积，其中混合卷积保证了对于相同参数有更大的感受野，从而更好地提取浅层特征图。如图5所示，绿色和蓝色方块表示3×3扩张卷积和标准卷积覆盖的图像区域，而黄色方块表示所使用的混合卷积。

1.4 损失函数

在训练过程中总损失可以表示为

(11)$L=L\text{image}+L\text{flare}$

式中：$L\text{image}$表示图像损失；$L\text{flare}$表示眩光损失。总损失的每个部分都包括$L1$损失和感知项损失。$L1$损失用于测量预测图像和地面实况图像之间的RGB颜色值的差异。感知项是通过将预测图像和地面实况图像输入预先训练的VGG-19网络^[35]来计算得出的。使用VGG-19网络可以提取特征并形成超立方体特征，以捕获更有价值的信息从而增强数据集视觉感知的抽象性。图像损失$L\text{image}$有助于使预测的无眩光图像$I\text{clean}$在光度和感知方面接近地面实况$I\text{gt}$，即

(12)$\begin{array}{l}L\text{image}={\displaystyle \sum _{l}\lambda l}{‖\Phi l(I\text{clean})-\Phi l(I\text{gt})‖}_{1}+\\ {\displaystyle \sum _{i\text{=1}}^{h}{\displaystyle \sum _{j=1}^{w}{\displaystyle \sum _{c=1}^{3}|I\text{clea}\text{n}-I\text{gt}|}}}\end{array}$

眩光损失$L\text{flare}$不仅有助于减少预测的无眩光图像中的伪影，而且使预测眩光的$F\text{clean}$更加接近于真实的眩光$F\text{gt}$，即

(13)$\begin{array}{l}{L}_{\text{flare}}={\displaystyle \sum _{l}{\lambda }_{l}}\Vert {\Phi }_{l}({F}_{\text{clean}})-{\Phi }_{l}({F}_{\text{gt}}){\Vert }_{1}+\\ {\displaystyle \sum _{i=1}^{h}{\displaystyle \sum _{j=1}^{w}{\displaystyle \sum _{c=1}^{3}|}}}{F}_{\text{clean}}-{F}_{\text{gt}}|\end{array}$

式(12)和式(13)中：$\Phi l$表示来自VGG-19网络的第$l$层的特征图；$\lambda l$表示权重用于平衡损失函数中的不同项；$‖.‖$表示L1范数；$h$和$w$分别表示图像的高度和宽度；$c$表示颜色通道$(R,G,B)$。

2 实验分析及讨论

收起

2.1 实验数据集

真实世界的夜间场景经常受到各种眩光的影响，在夜间收集无眩光干扰的干净图像是非常困难的任务。为了解决夜视场景下的眩光干扰问题，本文从BDD100k^[36]数据集中挑选的10 000张无眩光干扰的干净图像，对图像进行了变换处理，模拟夜间无眩光干扰图像。首先计算图像对比度C及3个图像通道的平均像素值以获得亮度平均值L，之后经过多次尝试调整并测试生成的图像，确定图像对比度的调整范围为0.75 ~ 0.80以减少强烈的明暗变化并使图像更柔和，亮度设置在0.35 ~ 0.40范围内使图像更接近夜视场景。最后执行式(14)的运算，低于平均值的图像不进行处理，高于平均值的图像进行随机伽玛变换以提升图像的细节信息，即

(14)$\gamma =\left\{\begin{array}{cc}1,& 0<L<50\\ random(2,3.5),& \text{otherwise}\end{array}\right.$

处理后的图像示例如图6所示。

真实夜视道路场景中遇到的眩光干扰主要是由散射眩光引起。仅眩光的部分是从Flare7K^[15]中选择的5 000张符合夜视道路场景的散射眩光图像。散射眩光图像中的分量都是可以分离的组件，组件中的光源图像可以用于训练光源提取模块。本文所述具体的眩光合成过程如图7所示。对于实验所使用合成数据集中训练集、验证集和测试集的比例划分为7∶2∶1。

2.2 实验设置

本文提出的NFR-Net+方法基于PyTorch深度学习框架，Ubuntu Linux操作系统，详细环境为CUDA 11.2 + Cudnn 8.1 + PyTorch_GPU1.8.0，使用Adam优化器，学习速率设置为10^-4，批处理大小设置为1，轮数为115个epoch，损失函数是L1损失、感知损失和VGG-19的组合。光源提取模块进行了50 k次迭代(20个周期)的L1损失训练。网络的训练都是在Nvidia GeForce RTX 2080ti上完成的。

2.3 实验结果定性分析

图8中给出了视觉比较，以评估每种方法在真实夜视场景中消除眩光的有效性。本文将NFR-Net+与眩光去除的相关方法在从BDD100K中挑选的测试数据进行了比较。其中红色方框标记了眩光被去除的区域以方便进行对比观察。眩光去除方法与图像增强方法存在相似之处，都是通过分解图像来去除损坏的部分达到预期的效果，雾中光线的多次散射导致光源周围产生眩光效果，尽管这种眩光的形成方式与透镜眩光不同，但其外观相似，因此夜间除雾和夜间眩光的去除有一些共同点。本文中将NFR-Net+与文献[37]的夜间除雾方法进行了比较。在图8(b)中可以观察到，尽管文献[37]的方法在一定程度上缓解了眩光，但也破坏了光源区域的信息，导致光源区域图像失真。除此之外，文献[38]提出的夜间能见度增强方法侧重于抑制亮区的光效应，同时提高暗区的强度，从图8(c)中可以看出其方法抑制了图像中亮红色区域的光效应，但在处理夜间强烈灯光所导致的大范围眩光时未能起到作用。

图8(d)展示了文献[13]的眩光去除方法在去除散射眩光方面的效果，虽然起到了消除眩光干扰的作用但仍存有一些局限性，如无法去除眩光区域附近过多的辉光反应与过亮的条纹情况。图8(e)展示了文献[20]的方法实现了更好的消除眩光干扰效果，但对于光源周围的微光干扰方面仍存在不足。相比之下，图8(f)展示了文献[16]有效消除了夜间眩光的干扰，但保留光源信息时不像真实场景那么自然。而图8(g)为本文提出的NFR-Net+实现了夜间眩光损坏图像的最清晰输出，有效地消除了真实夜视情况下强光源引起的各种眩光的干扰，在去除条纹、微光以及辉光方面均表现出优异的性能，有效地降低了眩光引起的图像退化。

图9展示了本方法在BDD100k真实夜间眩光场景的比较示例，可以观察到NFR-Net+针对真实夜视下眩光干扰的去除。

2.4 实验结果定量分析

表1采用了包括PSNR、结构相似性(Peak Signal to Noise Ratio, SSIM）和学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS)在内的完整参考指标来定量评估不同方法在减轻夜间眩光影响方面的性能。文献[37]的方法证明了在减轻夜视场景中的眩光干扰方面的适度改进，但可导致光源区域失真，PSNR和SSIM指标降低，LPIPS增加。文献[38]的方法侧重于抑制光效应，在抑制图像过亮区域的光效应方面表现良好，但未能消除夜视场景下强烈灯光所导致的散射眩光干扰。文献[13]证明了其在解决夜视场景中眩光干扰的相对有效性，但在应对过亮的条纹时仍然不能精准地识别去除。文献[20]方法在应对条纹和辉光干扰方面展现出了相较于文献[13]方法更有好的结果，从PSNR，SSIM和LPIPS这3个指标的显著提升中可以清楚地看出。文献[16]方法得到被恢复的光源信息显得不自然，且有所破坏，从而得到PSNR和SSIM指标的降低。相较于上述方法，本文方法在3个指标上均得到了提升，能够更好地应对微光所带来的图像退化，NFR-Net+在消除夜视环境眩光干扰和提高夜视场景的图像质量方面表现出色，可以合理地恢复光源附近受眩光干扰区域的细节信息。在轻量化效果推理速度的对比中，与其他方法相比NFR-Net+也取得了0.076 1 s的最佳效果，证明本文方法在轻量化方面的有效性。

2.5 消融实验

通过6组实验以证明所使用的非线性无激活特征注意力模块的有效性：1为仅用CA，2为仅用SCA，3为仅用PA，4为仅用SPA，5为用CA和PA(用FA)以及6为用SCA和SPA(用NAFFA)。表2验证了所使用的非线性无激活特征注意力模块可以帮助网络更多地关注最重要的特征区域，以比FA更低的计算成本和更少的参数来恢复更多的细节。从表中可以看出，该模块在原FA的基础上降低了约1 G的运行内存需求与23万参数量的同时，实现了更好的PSNR输出，非线性无激活特征注意力模块的使用有效地减少资源消耗，对于加速模型的推理速度，提高在部署环境中的实用性具有重大意义。

3 结束语

收起

为了抑制夜间环境炫光的干扰并确保算法能在资源受限的条件下运行，NFR-Net+通过特征过滤机制和非线性无激活特征注意力模块，在降低模型参数量和运行内存的同时，显著提升了图像细节重建质量和眩光去除效果。改进的光源提取模块能够精确保留光源区域的亮度和纹理信息，确保输出图像的真实性和自然感。实验结果表明，NFR-Net+在SSIM、PSNR和LPIPS等图像质量评估指标上优于现有主流方法，展现出良好的适应性和实时性，为夜间自动驾驶和智能监控等应用场景提供了高效的解决方案。消融实验进一步验证了各模块在性能与资源消耗平衡中的关键作用。

然而，尽管NFR-Net+在多个方面表现出色，但仍存在一些不足之处。首先，在多种夜视场景下表现出良好的适应性，但在极端复杂场景（如多光源干扰或极端低光照条件）下的鲁棒性仍有待进一步提升。其次，尽管模型参数量和运行内存得到了优化，但在更高分辨率图像处理时，计算资源消耗仍然较高，限制了其在部分低端设备上的应用。最后，当前方法依赖于合成数据集进行训练，可能在某些真实场景中存在一定的泛化差距。

针对上述不足，未来的工作将聚焦于以下几个方向：①进一步优化网络结构，探索更高效的特征提取和注意力机制，以提高模型在极端复杂场景下的鲁棒性；②通过模型压缩和优化技术，降低模型在高分辨率图像处理时的计算资源消耗，使其能够更好地适应低端设备；③扩大训练数据集的多样性和规模，引入更多真实场景数据，以提高模型的泛化能力。此外，还将探索与其他视觉任务(如目标检测、语义分割)的结合，为夜视辅助驾驶系统提供更全面的视觉支持。

基金

收起

河南省科技研发联合基金青年科学家计划项目(22520080098)
河南省科技攻关项目(242102211008)
郑州轻工业大学科技创新团队支持计划项目(JSJ20230058)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

NUSSBERGER

, GRABNER

, VAN GOOL

. Robust aerial object tracking in images with lens flare[C]// 2015 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2015: 6380-6387.

[2]

S T

, YIN

J L

, CHEN

B H

, et al. Single image glare removal using deep convolutional networks[C]// 2020 IEEE International Conference on Image Processing. New York: IEEE Press, 2020: 201-205.

[3]

WEN

L H

, JO

K H

. Deep learning-based perception systems for autonomous driving: a comprehensive survey[J]. Neurocomputing, 2022, 489: 255-270.

[4]

BOYNTON

P A

, KELLEY

E F

. Liquid-filled camera for the measurement of high-contrast images[C]// The SPIE 5080, Cockpit Displays X. Bellingham: SPIE, 2003: 370-378.

[5]

RASKAR

, AGRAWAL

, WILSON

C A

, et al. Glare aware photography: 4D ray sampling for reducing glare effects of camera lenses[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.

[6]

MACLEOD

H A

. Thin-film optical filters[M]. Boca Raton: Taylor & Francis, 2010.

[7]

VITORIA

, BALLESTER

. Automatic flare spot artifact detection and removal in photographs[J]. Journal of Mathematical Imaging and Vision, 2019, 61(4): 515-533.

[8]

ASHA

C S

, BHAT

S K

, NAYAK

, et al. Auto removal of bright spot from images captured against flashing light source[C]// 2019 IEEE International Conference on Distributed Computing, VLSI, Electrical Circuits and Robotics. New York: IEEE Press, 2019: 1-6.

[9]

时妙文, 范琳伟, 王桦, 等. 基于四元数组稀疏的彩色图像去噪[J]. 图学学报, 2023, 44(2): 298-303.

SHI

M W

, FAN

L W

, WANG

, et al. Quaternion patch-group sparse coding for color image denoising[J]. Journal of Graphics, 2023, 44(2): 298-303 (in Chinese).

[10]

徐祯东, 张天宇, 张世恒, 等. 基于YUV颜色空间GAN网络的图像去雾算法研究[J]. 图学学报, 2023, 44(5): 928-936.

Z D

, ZHANG

T Y

, ZHANG

S H

, et al. Image defogging algorithm based on YUV color space GAN network[J]. Journal of Graphics, 2023, 44(5): 928-936 (in Chinese).

[11]

CHEN

, PAN

J S

, DONG

J X

. Bidirectional multi-scale implicit neural representations for image deraining[C]// 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2024: 25627-25636.

[12]

QIAN

X T

, HANCKE

G P

, LAU

R W H

. Light source guided single-image flare removal from unpaired data[C]// 2021 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2021: 4177-4185.

[13]

Y C

, HE

Q R

, XUE

T F

, et al. How to train neural networks for flare removal[C]// 2021 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2021: 2239-2247.

[14]

RONNEBERGER

, FISCHER

, BROX

. U-Net: convolutional networks for biomedical image segmentation[C]// The 18th International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241.

[15]

DAI

Y K

, LI

C Y

, ZHOU

S C

, et al. Flare7K: a phenomenological nighttime flare removal dataset[C]// The 36th International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2022: 284.

[16]

JIANG

Y G

, CHEN

X H

, PUN

C M

, et al. MFDNet: multi-Frequency Deflare Network for efficient nighttime flare removal[J]. The Visual Computer, 2024, 40(11): 7575-7588.

[17]

LIANG

J Y

, CAO

J Z

, SUN

G L

, et al. SwinIR: image restoration using swin transformer[C]// 2021 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2021: 1833-1844.

[18]

陈冠豪, 徐丹, 贺康建, 等. 基于转置注意力和CNN的图像超分辨率重建网络[J]. 图学学报, 2025, 46(1): 35-46.

CHEN

G H

, XU

, HE

K J

, et al. TSA-SFNet: transpose self-attention and CNN based stereoscopic fusion network for image super-resolution[J]. Journal of Graphics, 2025, 46(1): 35-46 (in Chinese).

[19]

VASWANI

, SHAZEER

, PARMAR

, et al. Attention is all you need[C]// The 31st International Conference on Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2017: 6000-6010.

[20]

WANG

Z D

, CUN

X D

, BAO

J M

, et al. Uformer: a general U-shaped transformer for image restoration[C]// 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2022: 17662-17672.

[21]

SINHA

, EL-SHARKAWY

. Thin MobileNet: an enhanced MobileNet architecture[C]// 2019 IEEE 10th Annual Ubiquitous Computing, Electronics & Mobile Communication Conference. New York: IEEE Press, 2019: 280-285.

[22]

KOONCE

. EfficientNet[M]// Convolutional Neural Networks with Swift for Tensorflow:Image Recognition and Dataset Categorization. Berkeley: Apress, 2021: 109-123.

[23]

X Y

, LIANG

B R

, HUANG

, et al. Lightweight pyramid networks for image deraining[J]. IEEE Transactions on Neural Networks and Learning Systems, 2020, 31(6): 1794-1807.

[24]

B Y

, PENG

X L

, WANG

Z Y

, et al. An all-in-one network for dehazing and beyond[EB/OL]. [2025-01-04]. https://arxiv.org/abs/1707.06543. https://arxiv.org/abs/1707.06543

[25]

WANG

, ZHANG

K H

, SHEN

T R

, et al. Ultra-high- definition low-light image enhancement: a benchmark and transformer-based method[C]// The 37th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2023: 2654-2662.

[26]

YANG

S Z

, ZHANG

X Y

, WANG

Y H

, et al. DiffLLE: diffusion-based domain calibration for weak supervised low-light image enhancement[J]. International Journal of Computer Vision, 2025, 133(5): 2527-2546.

[27]

SHEN

, XU

H Y

, LUO

, et al. UDAformer: underwater image enhancement based on dual attention transformer[J]. Computers & Graphics, 2023, 111: 77-88.

[28]

, SHEN

, SUN

. Squeeze-and-excitation networks[C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 7132-7141.

[29]

QIN

, WANG

Z L

, BAI

Y C

, et al. FFA-Net: feature fusion attention network for single image dehazing[C]// The 34th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2020: 11908-11915.

[30]

JIANG

, WANG

Z Y

, YI

, et al. Multi-scale progressive fusion network for single image deraining[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 8346-8355.

[31]

LIU

X H

, MA

Y G

, SHI

Z H

, et al. GridDehazeNet: attention-based multi-scale network for image Dehazing[C]// 2019 IEEE/CVF International Conference on Computer Vision. New York: IEEE Press, 2019: 7314-7323.

[32]

, KOLTUN

. Multi-scale context aggregation by dilated convolutions[EB/OL]. [2025-01-04]. ttps://dblp.uni-trier.de/db/conf/iclr/iclr2016.html#YuK15. https://dblp.uni-trier.de/db/conf/iclr/iclr2016.html#YuK15

[33]

H L

, LIU

S H

, SHU

. Uformer++: light uformer for image restoration[C]// The 30th International Conference on Neural Information Processing. Cham: Springer, 2024: 365-376.

[34]

CHEN

L Y

, CHU

X J

, ZHANG

X Y

, et al. Simple baselines for image restoration[C]// The 17th European Conference on Computer Vision. Cham: Springer, 2022: 13-33.

[35]

SIMONYAN

, ZISSERMAN

. Very deep convolutional networks for large-scale image recognition[EB/OL]. [2025-01-04]. https://dblp.uni-trier.de/db/conf/iclr/iclr2015.html#SimonyanZ14. https://dblp.uni-trier.de/db/conf/iclr/iclr2015.html#SimonyanZ14

[36]

, CHEN

H F

, WANG

, et al. BDD100K: a diverse driving dataset for heterogeneous multitask learning[C]// 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2020: 2636-2645.

[37]

ZHANG

, CAO

, ZHA

Z J

, et al. Nighttime dehazing with a synthetic benchmark[C]// The 28th ACM International Conference on Multimedia. New York: ACM, 2020: 2355-2363.

[38]

JIN

Y Y

, YANG

W H

, TAN

R T

. Unsupervised night image enhancement: when layer decomposition meets light-effects suppression[C]// The 17th European Conference on Computer Vision. Cham: Springer, 2022: 404-421.

2026年第47卷第1期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.11996/JG.j.2095-302X.2026010057

接收时间：2025-03-05
首发时间：2026-05-19
出版时间：2026-02-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-03-05
录用日期：2025-06-17

基金

Young Scientist Program of Henan Science and Technology Research and Development Joint Fund(22520080098)

河南省科技研发联合基金青年科学家计划项目(22520080098)

Science and Technology Research Project of Henan Province(242102211008)

河南省科技攻关项目(242102211008)

Science and Technology Innovation Team Support Program of Zhengzhou University of Light Industry(JSJ20230058)

郑州轻工业大学科技创新团队支持计划项目(JSJ20230058)

作者信息

¹ 郑州轻工业大学计算机科学与技术学院，河南郑州 450002

² 桂林电子科技大学人工智能学院，广西桂林 541004

通讯作者:

刘岩，E-mail：lyanzju@zzuli.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/txxb/CN/10.11996/JG.j.2095-302X.2026010057

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT