重庆邮电大学学报（自然科学版）

指标	ATR-ISTD	UAV-ISTD
图像尺寸	256×256	640×512
图像类型	真实	真实
标注类型	掩码	掩码
图像帧数量	11243	11900
背景类型	田野、雨林	湖泊、城市天空、云层

指标	ATR-ISTD	UAV-ISTD
图像尺寸	256×256	640×512
图像类型	真实	真实
标注类型	掩码	掩码
图像帧数量	11243	11900
背景类型	田野、雨林	湖泊、城市天空、云层

方法	ATR-ISTD数据集	UAV-ISTD数据集
IPI^[11]	45.68	86.83	59.86	53.63	26.30	35.29	103.24	8.72	17.20	11.57	21.11	0.65	1.27	183.76
NRAM^[13]	42.89	63.17	51.09	51.57	12.32	19.89	84.13	10.09	21.83	13.80	20.79	0.74	1.43	198.21
NOLC^[14]	39.00	47.38	42.78	48.44	10.11	16.73	74.11	7.43	12.70	9.38	19.69	0.56	1.10	158.15
PSTNN^[15]	41.52	89.37	56.70	46.70	25.51	33.00	125.89	5.28	9.89	6.88	14.02	0.37	0.71	181.15
ECA^[19]	57.17	90.90	70.20	68.78	25.70	37.41	68.10	12.37	12.45	12.41	20.88	0.26	0.52	89.93
4D^[20]	58.36	91.99	71.41	70.91	29.79	41.96	65.64	39.8	48.57	43.75	60.54	1.27	2.48	74.93
MDvsFA^[23]	50.93	40.79	45.30	42.64	38.50	40.46	39.30	57.15	42.64	48.84	71.72	51.42	59.9	31.97
LPNET^[25]	67.35	61.76	64.43	53.77	57.92	55.77	29.97	52.72	53.54	53.13	66.54	45.94	54.36	48.97
ISNET^[27]	70.92	70.26	70.59	62.17	47.87	54.09	28.81	74.14	59.37	65.94	73.64	54.74	62.80	21.06
ISTUC^[28]	76.71	88.98	82.39	57.66	59.45	58.54	27.02	73.54	65.51	69.29	58.16	71.29	64.06	24.00
UIUNET^[29]	64.04	66.41	65.20	57.25	55.80	56.52	37.29	59.14	60.28	59.71	63.18	54.76	58.67	41.73
RDIAN^[30]	81.97	87.9	84.83	68.04	56.99	62.02	19.34	81.31	63.76	71.47	67.45	61.34	64.25	14.67
MSHNET^[31]	82.40	88.37	85.28	60.28	56.77	58.47	18.88	70.58	63.40	66.80	59.72	64.85	62.18	26.45
本文方法	97.13	83.36	89.72	76.66	62.00	68.56	2.47	94.23	68.24	79.16	75.54	76.23	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
IPI^[11]	45.68	86.83	59.86	53.63	26.30	35.29	103.24	8.72	17.20	11.57	21.11	0.65	1.27	183.76
NRAM^[13]	42.89	63.17	51.09	51.57	12.32	19.89	84.13	10.09	21.83	13.80	20.79	0.74	1.43	198.21
NOLC^[14]	39.00	47.38	42.78	48.44	10.11	16.73	74.11	7.43	12.70	9.38	19.69	0.56	1.10	158.15
PSTNN^[15]	41.52	89.37	56.70	46.70	25.51	33.00	125.89	5.28	9.89	6.88	14.02	0.37	0.71	181.15
ECA^[19]	57.17	90.90	70.20	68.78	25.70	37.41	68.10	12.37	12.45	12.41	20.88	0.26	0.52	89.93
4D^[20]	58.36	91.99	71.41	70.91	29.79	41.96	65.64	39.8	48.57	43.75	60.54	1.27	2.48	74.93
MDvsFA^[23]	50.93	40.79	45.30	42.64	38.50	40.46	39.30	57.15	42.64	48.84	71.72	51.42	59.9	31.97
LPNET^[25]	67.35	61.76	64.43	53.77	57.92	55.77	29.97	52.72	53.54	53.13	66.54	45.94	54.36	48.97
ISNET^[27]	70.92	70.26	70.59	62.17	47.87	54.09	28.81	74.14	59.37	65.94	73.64	54.74	62.80	21.06
ISTUC^[28]	76.71	88.98	82.39	57.66	59.45	58.54	27.02	73.54	65.51	69.29	58.16	71.29	64.06	24.00
UIUNET^[29]	64.04	66.41	65.20	57.25	55.80	56.52	37.29	59.14	60.28	59.71	63.18	54.76	58.67	41.73
RDIAN^[30]	81.97	87.9	84.83	68.04	56.99	62.02	19.34	81.31	63.76	71.47	67.45	61.34	64.25	14.67
MSHNET^[31]	82.40	88.37	85.28	60.28	56.77	58.47	18.88	70.58	63.40	66.80	59.72	64.85	62.18	26.45
本文方法	97.13	83.36	89.72	76.66	62.00	68.56	2.47	94.23	68.24	79.16	75.54	76.23	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
直接融合	87.64	64.36	15.56	73.99	72.68	3.30
单向融合	87.00	66.21	10.79	74.77	72.20	4.60
不使用PSGF	76.04	59.57	3.24	76.41	70.79	7.15
使用PSGF	89.72	68.56	2.47	79.16	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
直接融合	87.64	64.36	15.56	73.99	72.68	3.30
单向融合	87.00	66.21	10.79	74.77	72.20	4.60
不使用PSGF	76.04	59.57	3.24	76.41	70.79	7.15
使用PSGF	89.72	68.56	2.47	79.16	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
串行设计	85.16	62.26	3.16	72.12	67.04	31.12
仅增强Y1	84.38	68.42	2.39	75.14	72.84	6.82
仅增强Y2	88.54	65.79	4.93	72.62	72.16	7.48
不使用PLG-FE	87.90	63.27	3.85	71.29	66.93	31.79
使用PLG-FE	89.72	68.56	2.47	79.16	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
串行设计	85.16	62.26	3.16	72.12	67.04	31.12
仅增强Y1	84.38	68.42	2.39	75.14	72.84	6.82
仅增强Y2	88.54	65.79	4.93	72.62	72.16	7.48
不使用PLG-FE	87.90	63.27	3.85	71.29	66.93	31.79
使用PLG-FE	89.72	68.56	2.47	79.16	75.88	4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
交互策略1	84.54	63.90	7.01	73.39	72.55	6.00
交互策略2	85.87	67.69	10.48	74.33	72.20	8.27
交互策略3	89.72	68.56	2.47	79.16	75.88	4.18
交互策略4	87.74	67.80	2.31	77.03	71.93	11.79
交互策略5	84.26	64.76	7.94	75.02	73.35	5.64

方法	ATR-ISTD数据集	UAV-ISTD数据集
交互策略1	84.54	63.90	7.01	73.39	72.55	6.00
交互策略2	85.87	67.69	10.48	74.33	72.20	8.27
交互策略3	89.72	68.56	2.47	79.16	75.88	4.18
交互策略4	87.74	67.80	2.31	77.03	71.93	11.79
交互策略5	84.26	64.76	7.94	75.02	73.35	5.64

基于记忆池的红外序列小目标检测

PDF下载

陈林 ¹ , 高陈强 ¹ , 黄骁 ²

重庆邮电大学学报（自然科学版） | 人工智能与大数据 2025,37(5): 769-780

收起

重庆邮电大学学报（自然科学版） | 人工智能与大数据 2025, 37(5): 769-780

基于记忆池的红外序列小目标检测

全屏

陈林¹, 高陈强¹, 黄骁²

作者信息

¹重庆邮电大学通信与信息工程学院，重庆 400065

²中国舰船研究设计中心，武汉 430064

陈林，硕士，主要研究方向为红外小目标检测。E-mail: 632559679@qq.com。

高陈强，教授，博士，主要研究方向为图像处理、视频分析、机器学习。E-mail: gaochq6@mail.sysu.edu.cn。

黄骁，高级工程师，博士，主要研究方向为智能无人平台感知规划决策。E-mail: huangxiao_88@outlook.com。

通讯作者:

陈林 632559679@qq.com

Infrared sequence small target detection based on memory pool

Lin CHEN¹, Chenqiang GAO¹, Xiao HUANG²

Affiliations

¹School of Communications and Information Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, P. R. China

²China Ship Development and Design Center, Wuhan 430064, P. R. China

doi: 10.3979/j.issn.1673-825X.202405060112

文章导航

摘要

收起

为了缓解数据稀缺问题，收集并标注了两个红外跟踪的数据集用于序列小目标检测，命名为ATR-ISTD、UAV-ISTD；提出了一种融入记忆池的序列小目标检测网络，有效利用前后帧关联信息，通过查询帧与记忆帧之间的记忆匹配读取内存信息，解决红外小目标检测在高杂波背景下的高虚警和低准确率的问题。针对下采样造成的小目标特征丢失问题，设计了前向语义引导融合模块（pre-semantic guided fusion module，PSGF）来整合不同尺度特征；在记忆向量编码器中设计了伪标签引导的特征增强模块（pseudo label guided feature enhancement module，PLG-FE）来强化小目标的局部特征表达能力。实验结果表明，与当前主流单帧目标检测方法相比，提出的方法在降低虚警率方面取得了显著成效，分别在ATR-ISTD和UAV-ISTD数据集上实现了16.87%和10.49%的改善，在目标级F₁上提高了4.89%和6.54%，在像素级F₁上提高了7.69%和11.63%。

关键词

红外图像 / 小目标检测 / 记忆池 / 特征增强 / 特征融合

Abstract

收起

To alleviate the scarcity of data, this paper collects and annotates two infrared tracking datasets for sequential small target detection, named ATR-ISTD and UAV-ISTD. This paper proposes a sequential small target detection network integrating a memory pool, which effectively utilizes the correlation information between frames before and after, reads memory information through memory matching between the query frame and the memory frame, and solves the problems of high false alarm and low accuracy in infrared small target detection under high clutter background. To reduce the loss of small target features caused by downsampling, a forward semantic guided fusion module（PSGF）is designed to integrate features of different scales. In the memory vector encoder, a pseudo label guided feature enhancement module（PLG-FE）is designed to enhance the local feature expression ability of small targets. Experimental results show that, compared with mainstream single-frame detection methods, the proposed method significantly reduces false alarm rates, achieving improvements of 16.87% and 10.49% on the ATR-ISTD and UAV-ISTD datasets, respectively. Target-level F1 scores increased by 4.89% and 6.54%, and pixel-level F1 scores improved by 7.69% and 11.63%.

Key words

infrared image / small target detection / memory pool / feature enhancement / feature fusion

引用本文

陈林, 高陈强, 黄骁. 基于记忆池的红外序列小目标检测. 重庆邮电大学学报（自然科学版）, 2025 , 37 (5) : 769 -780 . DOI: 10.3979/j.issn.1673-825X.202405060112

Lin CHEN, Chenqiang GAO, Xiao HUANG. Infrared sequence small target detection based on memory pool[J]. Journal of Chongqing University of Posts and Telecommunications(Natural Science Edition), 2025 , 37 (5) : 769 -780 . DOI: 10.3979/j.issn.1673-825X.202405060112

正文

收起

0　引言

收起

红外小目标检测（infrared small target detection，ISTD）是红外成像分析领域一项关键技术之一，具有广泛的应用，如交通管理^[1]、海上监视^[2]等。红外成像技术通过捕捉物体自身发出的红外辐射成像，在夜间、雨雾、低光照等复杂条件也能保持出色表现，具有较强的抗干扰能力^[3-4]。与一般目标检测不同，红外小目标检测具有独有的挑战性特征:①目标尺寸极小。红外小目标通常在远距离下成像，其在图像中的实际尺寸相对较小，通常目标的像素尺寸小于30×30。②缺乏纹理信息。在红外图像中，小目标仅占图像的小部分，并且通常以点状形式出现，几乎不含有纹理信息，这使得可供分析和检测的信息非常有限。③背景干扰的问题严重。红外成像的特性使得在多变的环境尤其在城市场景中，背景热源与目标热源难以区分。

在ISTD的早期研究中，主要依赖于模型驱动的方法^[5-20]，这类传统方法往往高度依赖于先验知识，不能较好地适应多变的复杂场景。随着深度学习在自然图像的成功^[21-22]，研究者们开始探索将深度学习方法应用于红外小目标检测研究。基于数据驱动的深度学习方法显示出了特征学习潜力^[23-32]，能够更好地适应复杂多变的环境，模型鲁棒性显著提升。基于深度学习的单帧检测方法研究尽管在红外小目标检测领域已取得较为显著的进展，但在应对视频序列场景时无法利用时域信息，因此在复杂场景中的表现有待提高。针对这一挑战，本文提出一种新的红外序列小目标检测方法，利用连续帧之间的关联信息捕捉小目标的运动轨迹，显著提升了小目标在复杂场景中的检测准确性。此外，为了缓解红外序列小目标检测数据集稀缺的问题，本文收集并标注了来自红外目标跟踪领域的两个不同数据集^[33-34]，形成了两个可用于红外序列小目标检测的数据集ATR-ISTD和UAV-ISTD。

考虑到小目标的尺寸较小，本文没有选择传统的目标检测方法用边界框来定位目标，而是将小目标检测视为一个分割问题^[35-37]。本文选用U-Net作为网络基础结构，通过编码器提取特征。为了尽可能减少在特征提取过程中的局部信息的丢失，本文设计了前向语义引导融合模块（pre-semantic guided fusion module，PSGF），该模块能够有效整合全局和局部的信息，提高检测准确性。此外，在编码器与解码器之间设计了一个记忆池，实现查询帧与记忆帧之间的特征交互，以更好地定位小目标。考虑到小目标的特征可利用性相对较少，且在高维空间中易被背景噪声干扰，在记忆向量编码器中设计了伪标签引导的特征增强模块（pseudo label guided feature enhancement module，PLG-FE），突出小目标特征区域表示，减小背景噪声的干扰。

综上所述，本文的贡献可以归纳如下:①提出一种新的红外小目标检测方法，通过记忆池的记忆信息匹配来合理利用帧间信息，能够在视频序列中准确地捕捉和追踪红外小目标，在复杂背景和动态场景中展现出良好的性能。②设计前向语义引导融合模块，减少了下采样过程中的局部信息丢失；设计伪标签引导的特征增强模块，增强小目标局部特征。③整理了两个红外跟踪的数据集，专用于红外序列小目标检测。

1　相关工作

收起

1.1　传统红外小目标检测

1.1.1　基于背景抑制的方法

文献[5]利用密度峰搜索和最大灰度区生长的检测方法，来检测不同尺寸的小目标，并消除各种复杂形状杂波造成的干扰。文献[6-7]提出Top-Hat方法和Max-Mean/Max-Median方法，通过抑制简单且均匀的背景信息从而突出显示小目标。文献[8]从局部图像分割的角度，通过新型的局部描述符实现对杂波的抑制和小目标增强。

1.1.2　基于人类视觉系统

通常，一个像素块中心区域与其周围的像素值亮度存在差异，文献[9]提出一种基于滑动窗口的局部对比方法（local contrast method，LCM），通过测量每个中心像素与邻域像素值的对比度作为提取特征信息。后续不断有学者在LCM的基础上提出改进方法，以检测不同尺寸目标，并同时有效增强真实目标和抑制各种类型干扰。文献[10]提出一种改进的增强局部对比测量方法，用来生成更加准确的显著性图。

1.1.3　基于局部块模型分解的方法

文献[11]提出了红外斑块图像（infrared patch image，IPI）方法，利用红外背景图像的非局部自相关特性，通过恢复低秩矩阵，实现小目标与背景分离。文献[12]利用序列图像的时域信息构建时空块图像，然后采用马尔可夫随机场引导的混合高斯噪声模型进行小目标检测建模。最后，通过贝叶斯方法从复杂背景中分离出小目标分量。尽管如此，由于目标和背景分布差异较大，上述传统方法在实际应用中面临着一定的挑战。

红外序列小目标检测的研究主要集中在以模型驱动的传统方法。文献[16]对红外视频进行时空相关性分析，利用目标周围的边缘和角点信息，从背景的稀疏残差中突出显示目标。文献[17]通过为不同的奇异值赋予不同权重，自适应地准确估计背景信息。文献[18]提出利用滑动窗口机制的方法，逐个提取图像块，以此捕获相邻图像中的非重叠块信息。文献[19]提出一种稀疏正则化扭转张量模型，充分利用红外图像的时空信息，强化模型对小目标的捕捉能力。文献[20]提出将三维向量扩展为四维张量，通过张量列和张量环技术分解为低维张量，将ISTD问题建模为稀疏加低秩分解问题，处理空间和时间信息的不平衡。但是，传统的序列检测方法，不能主动进行特征学习，比较依赖于先验知识，在复杂场景中检测虚警率较大。

1.2　深度学习红外小目标检测

深度学习方法在红外小目标检测领域有着广泛应用。文献[23]利用生成对抗网络来平衡漏检和虚警。文献[24]设计了非对称上下文调制模块，同时结合自上而下的全局上下文反馈和自下而上的调制通路，实现了在深层语义和浅层细节之间的信息交换。文献[25]提出一种从全局出发关注局部的网络，融合多尺度特征进行小目标检测。文献[26]提出了密集嵌套注意网络，实现高层信息和底层信息之间的渐进交互，并保持小目标在深层的信息。文献[27]提出新型的红外形状网络，以此关注小目标的精确边缘和形状。文献[28]设计了基于Transformer的鲁棒的、通用的红外小目标检测方法。文献[29]设计了UIU（U-net In U-net）中内嵌UIU的结构，实现多层次多尺度的学习UIU结构。文献[30]为了解决背景与目标之间的类别不平衡问题，设计了感受野和方向注意力网络。文献[31]设计了一种新的损失函数，通过采用更简洁的模型，能够更有效地关注小目标的尺度和位置敏感性。尽管如此，这些单帧检测方法直接应用于序列检测，由于不能充分利用时序特征，检测效果较差。文献[32]提出一种新的序列检测框架ST-Trans，它利用时空变换模块来学习前后帧的依赖信息，取得不错的效果。

2　本文方法

收起

2.1　网络整体结构

图1为本文设计的红外序列小目标检测网络。

该网络以U-Net架构为基础，结合编码器和解码器进行构建；使用Resnet50^[38]从输入的红外视频V中提取特征，V包含一个长度为t的视频帧，即V={f₁，f₂，f₃，…f_t}，经过编码后，得到4个不同尺度的特征f_ti，i∈{1，2，3，4}，代表不同尺度的索引，这一过程可以表示为

式（1）中，Resnet50为50层残差网络。随后，f_ti被送入PSGF，该模块综合不同尺度的特征信息，最大程度减少下采样过程中小目标信息丢失，进一步提升深层小目标的特征表达，这一过程可以表示为

式（2）中，

表示经过PSGF融合后的特征映射。紧接着，前三个尺度的特征通过跨层连接与解码器输出的特征图结合，

记作Y₂被送入记忆池中。当时间帧T=0时，复用解码器为第0帧生成伪标签，伪标签作为引导信息用来引导后续帧的分割。在记忆池中，记忆向量编码器会对输入的信息进行编码，生成记忆向量Y₁。为了更好地突显小目标特征，嵌入在记忆向量编码器中的伪标签引导的特征增强模块会对Y₂和记忆向量Y₁做特征增强，以提高小目标检测的性能，增强后的记忆向量为V_m。

总体来说，本文网络通过记忆池进行当前帧与记忆帧之间的关联信息匹配，得到当前帧在记忆池中的强关联信息匹配结果；随后，将记忆池中匹配得到的结果与解码器输出的特征图进行拼接；逐步上采样进行解码，最终实现对小目标的准确分割。

2.2　前向语义引导融合模块

随着卷积深度的增加，在不断的下采样过程中，现有网络小目标特征会被淹没。受到文献[39]的启发，本文设计了一个PSGF来实现全局和局部信息的融合，在捕获全局信息的同时，避免了小目标局部信息的丢失。PSGF如图2所示。其融合操作可以表示为

式（3）中:D（·）表示下采样；U（·）表示上采样；σ表示使用Sigmoid函数得到对应层特征权重。图2展示了PSGF的融合过程，对于4个不同的尺度f_t1，f_t2，f_t3，f_t4均会融合其他尺度的信息。如对于

，首先会利用σ生成f_t1的权重值，接着f_t2、f_t3、f_t4上采样之后分别与生成的权重值相乘，之后与f_t1相加，其他三个尺度的操作同理。最终

结合来自不同尺度特征的信息，通过将深层信息和浅层信息进行自适应融合，实现信息的互补与增强，提高模型对目标的检测能力。

2.3　记忆向量编码器

为了记忆当前帧信息，利用该信息帮助后续帧进行分割，本文设计了记忆向量编码器，如图3所示。首先将当前帧的图像信息和当前帧的伪标签通道叠加，然后用编码器进行特征编码，生成记忆向量Y₁。为了在局部增强目标特征的映射区域，突出小目标的显示，减小背景噪声对小目标区域的影响，本文在记忆向量编码器中设计了一个基于伪标签引导的特征增强模块，它的输入是Y₁和Y₂。为了充分挖掘Y₁和Y₂特征的通道关系，首先对输入做一个中间特征变换，操作为

式（4）中:ϑ₁为1×1卷积，Maxpool和Avgpool分别代表最大池化和平均池化。为了在空间上增强目标信息，我们将变换后的结果与原始特征图进行逐点相乘，对原始特征图进行加权，加权的权重为中间变换的结果，Y_i增强的操作表示为

式（5）中，⊗表示逐点相乘。在通道上叠加增强后的特征Y′_i后做3×3卷积进一步整理特征，ϑ₃代表3×3卷积。这一过程可以表示为

为了学习特征之间的非线性关系，将Y₃输入到由多个全连接组成的多层感知网络中，然后将得到的权重值与原始特征图Y₃逐点相乘得到增强后的记忆向量V_m，操作可表示为

通过这个过程，网络可以综合利用原始和增强后的特征信息，并通过MLP网络的学习调整，实现对特征的进一步优化和调整，实现对小目标的准确检测。

2.4　记忆匹配策略

在记忆池中，本文基于注意力机制读取记忆的结果，这是一种高效的记忆读取策略。通过注意力机制，模型会根据查询的内容自适应地从记忆池中提取最相关的信息。首先，查询向量的特征映射K_q与记忆池中记忆向量特征映射K_m进行矩阵乘法操作得到记忆矩阵W，其中特征映射通过卷积实现。对该记忆矩阵W应用Softmax函数，得到记忆权重矩阵W_O，记忆权重矩阵记录着每个记忆向量对于当前查询的重要性，得到记忆权重的这一操作过程可以表示为

得到W_O后，将W_O与V_m相乘得到记忆匹配结果M_r，W_O中的每个权重代表了对应记忆向量在当前查询上下文中的相关性。V_m对于当前查询帧来说是记忆池存储的实际信息，它们相乘的结果反映了当前查询与记忆池中信息的匹配程度。将M_r与查询值向量V_q进行整合得到在记忆池中最终查询结果Θ_mr，具体操作为

通过记忆整合，Θ_mr融合了当前帧信息和记忆帧的历史信息。通过记忆匹配策略，模型不仅可以利用当前帧信息，还可以有效利用历史帧的信息来增强当前帧的处理，充分利用了小目标运动信息，在复杂视频场景中，能够有效检测小目标。

2.5　损失函数

本文将小目标检测问题转化为逐像素的二分类任务，选择二值交叉熵损失函数作为本文的损失函数。二值交叉熵损失是评估二分类任务预测精度的常用方法，通过比较网络输出的二值化图像与真实标签之间的差异来计算损失，定义为

式（10）中:y_i表示一个二值标签，y_i∈{0，1}；p（y_i）是预测给定标签的概率p（y_i）∈{0，1}；N表示图像中的总像素数。

3　实验分析

收起

3.1　实验数据集

鉴于红外小目标检测的特殊性，目前适用于此类检测任务的公开数据集数量相对较少。目前，用于单帧红外小目标检测的主要数据集包括NUAASIRST、MFIRST、IRSTD-1k。其中，NUAA-SIRST数据集提供了一定数量的图像，但总量有限；MFIRST数据集主要包含合成图像；IRSTD-1k数据集则提供了1000多张真实场景中不同目标的图像，这些目标在大小和形状上各不相同，并覆盖了多种不同的场景，这些数据集的引入极大地推动了单帧红外小目标检测技术的发展。当前存在多帧数据集主要是IRSTD^[32]，不过其采用的数据标注形式是数据框标注。基于此，本文从红外图像弱小飞机目标跟踪数据集和红外无人机跟踪数据集中筛选出了运动红外小目标图像，并对其进行了像素级目标的标注，最终构建了ATR-ISTD和UAV-ISTD两个可用于红外序列小目标检测的数据集，如表1所示。

3.2　评价指标

本文用文献[11]中的评价指标F_a来衡量预测中的虚警率，以N_f表示在整个视频中检测到的虚假目标总数，N_l代表视频中图像帧的总数。F_a值是评估小目标检测性能的重要指标，它直接关联到检测系统的可靠性和实用性。F_a定义为

同时为了全面评价预测的精度，还采用了准确率P（Precision），召回率R（Recall），目标级

和像素级

来综合评价。准确率衡量被模型预测为正例的样本中真正为正例的样本个数，准确率越高表明被误判的数量越少，定义为

R反应真正为正例的样本有多少被模型正确识别，定义为

通过计算准确率和召回率，我们能够使用它们的调和平均数，目标级

和像素级

来综合评估模型的性能。

和

定义为

式（12）—（13）中，N_TP为真正例；N_FP为假正例；N_FN为假反例。

3.3　网络训练细节

本文基于Pytorch框架，在NVIDIA GeForce RTX 3090显卡上迭代了30000次；以Adam优化器来训练模型，参数为β₁=0.9，β₂=0.999；设置初始学习率为10^-5，Batch size为8，每个Batch数据为视频序列中随机有序的3帧，3帧之间的采样间隔按照3→6→9→12→9→3进行变化。训练开始前，对训练样本进行随机翻转增强处理，然后统一将图像尺寸调整为256×256。为了证明本文方法的优势，本文与几种最先进的方法进行比较，如表2所示。表2中，最优结果加粗显示。所有方法均使用作者公开提供的源代码，且在默认参数下进行。

3.4　与已有方法对比结果

3.4.1　定量结果对比

由表2可见，在ATR-ISTD和UAV-ISTD数据集上，本文的方法在

、

、F_a三个指标上均取得了最好的性能，这是由于本文充分利用了帧间关联信息。具体来看，传统的单帧方法在准确性上不及传统序列方法。前者

最高为59.86和13.80，

最高为35.29和1.43，而后者

最高为71.41和43.75，

最高为41.96和2.48。在F_a评价上后者最优为65.64和74.93，也明显优于传统单帧方法。这是由于序列方法可以整合连续帧之间的信息。

对比传统序列方法和深度学习单帧方法，在ATR-ISTD数据集上，传统序列方法

得分超过了MDvsFA、LPNET、UIUNET等深度学习单帧方法。然而，在复杂环境下传统方法往往无法有效抑制虚警。这主要是因为传统方法无法主动学习和适应目标的复杂特征，在背景噪声和光照变化等因素的干扰下尤其如此。整体上传统方法的F_a都高于深度学习方法。ECA和4D在ATR-ISTD数据集上，均表现出准确率较低、召回率较高的特点。这可能缘于传统序列方法不能很好地应对非目标特征的干扰，而错误地将这些非目标区域检测为目标。ISTUC和RDIAN通过融合多尺度信息，结合注意力机制，能够从更广泛的视角捕捉小目标的特征，但是这些单帧方法从本质上讲没有利用前后帧的关联信息。相较之下，本文方法在准确率和召回率之间实现了较好的平衡，所以

，

均表现不错的效果。通过有效利用前后帧的信息，本文方法能够更准确地区分小目标和背景噪声。

此外，传统方法在不同数据集上的表现存在明显差异，且所有传统方法在UAV-ISTD数据集上的表现极为不佳，这进一步说明传统方法往往依赖于特定的先验特征，缺乏足够的鲁棒性和适应性，在多变的应用场景中受限。此外，传统方法在不同数据集上的表现存在明显差异，且所有传统方法在UAV-ISTD数据集上的表现极为不佳，这进一步说明传统方法往往依赖于特定的先验特征，缺乏足够的鲁棒性和适应性，在多变的应用场景中受限。

3.4.2　定性结果对比

不同ISTD方法在数据集中部分场景的定性比较结果如图4所示。图4中，图4e场景来自于ATR-ISTD数据集，其他所有场景均来自于UAVISTD数据集。红色为正确检测到的目标，绿色为漏检的目标，橙色为错误的检测，右上角矩形区域为放大的目标。由图4可见，本文的方法能够在多种复杂背景下准确地检测到目标，并且在大多数场景中极少出现虚警现象。

图4a场景中，由于背景干扰较少，红外小目标的特征相对更为明显，大多数现有方法都能实现较为准确的检测。图4b场景中，水流和波纹在红外图像中形成了复杂的纹理模式，此时传统方法4D、ECA和IPI均未能成功检测到目标；UIU虽能识别小目标，但水面的反射造成周围区域高亮，导致虚警的产生；RDIAN方法不仅未能检测到小目标，还出现了虚警。图4c场景中所有方法都能检测到小目标，但IPI、4D、ECA和UIU在不同程度上产生了虚警。总体而言，基于深度学习的方法因其能够学习小目标的特征，相对于传统的单帧和序列方法，虚警的情况有所改善。图4d场景中，复杂的光照条件对小目标检测造成了干扰，除本文的方法外，其他所有方法都出现了较为严重的虚警问题，错误地将其他光源识别为小目标。在图4e和图4f这样的野外背景下，由于地形的不均匀和植被的遮挡，传统方法IPI、4D、ECA均表现较差，产生了大量的虚假目标，UIU和RDIAN漏检也比较严重，UIU仅仅微弱地检测到目标。

综上所述，在简单环境中大多数方法表现良好，但在复杂背景下，尤其是有动态纹理、复杂光照和遮挡等因素存在时，传统方法和一些深度单帧的学习方法的性能均受到挑战，而本文方法在处理复杂背景下小目标检测任务时具有优越性和鲁棒性。

3.5　消融实验

3.5.1　前向语义引导融合模块的影响

深层语义学习捕捉了直观感知不到的信息。在高维抽象空间中，背景噪声可能会掩盖小目标的特征，导致其被遗忘。为了解决这一问题，本文利用浅层信息进行引导，结果如表3所示。由表3可见，运用本文设计的引导融合模块进行特征学习可以显著提升小目标检测的性能。这验证了PSGF模块抑制小目标信息在下采样过程中的丢失以及在不同尺度感受野之间利用信息进行检测方面的有效性。本文设计了3种其他融合的方式，说明了PSGF模块的合理性和有效性。直接融合方式，没有为向上采样的语义信息赋予指导权重，上采样的过程中无法避免深度衰减问题，没有充分利用浅层信息来帮助深层信息的恢复；单向融合方式仅利用了低于当前尺度的信息，缺少了更深层语义信息；在未使用PSGF模块时，各网络层之间的信息交流不足，

和

的指标均大幅度下降，检测性能较差。

3.5.2　伪标签引导的特征增强模块的影响

为了增强小目标的局部特征表示，本文设计了伪签引导的特征增强模块，消融实验结果如表4所示。由表4可见，当PLG-FE模块中的池化采用串行设计时，在抑制虚警方面，在UAV-ISTD数据集上的F_a降为31.12，明显低于最优结果，检测结果不理想。因此，在本文的增强模块中选择并行方式同时实现最大池化和平均池化，以在捕获关键特征的同时减少信息损失。Y₁通过较浅的残差网络编码获得，它富含局部和基本特征信息。仅对Y₁进行特征增强可能会丢失深层次的语义信息，影响模型在复杂背景中的识别能力。Y₂代表了从更深层网络编码得到的当前帧特征，包含丰富的深层语义信息。如果仅增强Y₂，模型可能会忽视细节信息，从而无法精确定位小目标。在UAV-ISTD数据集中同时增强Y₁和Y₂，各指标表现均表现最佳。然而，ATRISTD数据集中仅增强Y₁时F_a表现更好。这是因为ATR-ISTD主要涉及野外场景，且这些场景的语义复杂多样，Y₂中的一些深层语义信息可能包含与目标无关的特征，这些特征在语义上容易与目标混淆。当同时增强Y₁和Y₂时，Y₂中这些易混淆的语义信息可能会干扰目标的准确判断，从而导致F_a检测效果不如仅增强Y₁。尽管如此，Y₁的局部基本特征和Y₂的深层语义特征仍有一定的互补性。当选择同时增强Y₁和Y₂时，尽管F_a略有下降，但

和

均显著提升。该增强模块通过结合Y₁和Y₂使得模型能够同时利用详细的局部信息和丰富的高级语义信息，更全面地挖掘图像特征，从而提高小目标检测的准确性。

3.5.3　跨帧信息交互策略的影响

记忆池中存储着不同帧之间的信息交互，不同帧与帧之间的信息融合得到不同的检测性能，为了找到合适的帧间信息融合策略，本文设计了跨帧信息交互策略来验证不同帧数量检测性能对比。训练时采样间隔的变化满足

式（16）中，n是策略编号，n∈（1，5）；t是训练迭代次数的阶段编号，t∈（1，4）；测试时的采样间隔变化满足

这意味着对于策略n，每隔n帧存入一帧记忆帧。本文中，通过记忆池控制帧间信息的交互，采用不同的记忆管理策略来优化小目标的检测性能。跨帧信息交互策略的影响如表5所示。由表5可见，交互策略3的跨帧信息交互在性能上最为出色。这表明，在构建记忆池时，并非简单地增加记忆帧就能带来更好的效果，过多的记忆帧反而会消耗更多计算资源，增加整体的计算负担。此外，记忆间隔的设置也需在合理的范围之内。小目标在连续运动中相邻几帧的信息往往高度相似，如果记忆间隔设置得太小，在进行注意力匹配时，模型就可能会过度集中在临近帧的信息上，导致早期的记忆信息被忽略，因此，策略1和策略2相比于策略3在准确率和误报方面的表现较为逊色。反之，若记忆间隔过大，则帧与帧之间的关联性会减弱，模型可能无法有效捕捉到小目标的运动轨迹，影响记忆特征的匹配效果，当采用策略4或5时，由于记忆帧逐渐变多

、

、F_a都呈现下降趋势。总之，表5结果强调了为小目标检测精心设计记忆池管理策略的重要性和合理性。

4　结束语

收起

本文提出了一种新方法来处理复杂背景下的红外序列小目标检测任务，使用记忆池来存储并匹配各帧之间的关系，通过帧间信息交互很好捕捉了小目标的运动信息。本文还设计了前向语义融合模块和伪标签引导的特征增强模块，前者重点考虑全局和局部信息之间的差异，减少下采样过程中信息的丢失；后者专注于在局部增强小目标的特征表示，减小背景噪声对小目标区域的影响。此外，本文还收集了两个可用于红外序列小目标检测的数据集，供未来研究使用。在这两个数据集上的大量实验表明，与现有单帧检测方法相比，本文方法更为有效。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

YING

, LIU

, WANG

, et al. Mapping degeneration meets label evolution: Learning infrared small target de tection with single point supervision[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver, Canada: IEEE, 2023:15528-15538.

[2]

ZHAO

, L

, LI

, et al. Single-frame infrared smalltarget detection: A survey[J]. IEEE Geoscience and Remote Sensing Magazine, 2022, 10(2): 87-119.

[3]

ZHANG

, PENG

, WU

, et al. Infrared small target detection via self-regularized weighted sparse model[J]. Neurocomputing, 2021, 420: 124-148.

[4]

ZHU

, ZHANG

, XU

, et al. Balanced ring top-hat transformation for infrared small-target detection with guided filter kernel[J]. IEEE Transactions on Aerospace and Electronic Systems, 2020, 56(5): 3892-3903.

[5]

HUANG

, PENG

, WANG

, et al. Infrared small target detection by density peaks searching and maximum-gray region growing[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(12): 1919-1923.

[6]

ZENG

, LI

, PENG

. The design of top-hat morpho logical filter and application to infrared target detection[J]. Infrared Physics & Technology, 2006, 48(1): 67-76.

[7]

DESHPANDE

S D

, ER

M H

, VENKATESWARLU

, et al. Max-mean and max-median filters for detection of small targets[C]//Signal and Data Processing of Small Targets 1999. Denver, CO, USA: SPIE,1999: 74-83.

[8]

QIN

, BRUZZONE

, GAO

, et al. Infrared small target detection based on facet kernel and random walker[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 7104-7118.

[9]

CHEN

C L P

, LI

, WEI

, et al. A local contrast method for small infrared target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2013, 52(1): 574-581.

[10]

HAN

, MA

, ZHOU

, et al. A robust infrared small target detection algorithm based on human visual system[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(12): 2168-2172.

[11]

GAO

, MENG

, YANG

, et al. Infrared patch-image model for small target detection in a single image[J]. IEEE Transactions on Image Processing, 2013, 22(12):4996-5009.

[12]

GAO

, WANG

, XIAO

, et al. Infrared small-dim target detection based on Markov random field guided noise modeling[J]. Pattern Recognition, 2018 (76):463-475.

[13]

ZHANG

, PENG

, ZHANG

, et al. Infrared small target detection via non-convex rank approximation minimization joint l 2, 1 norm[J]. Remote Sensing, 2018, 10(11): 1821.

[14]

ZHANG

, WU

, LIU

, et al. Infrared small target detection based on non-convex optimization with Lp-norm constraint[J]. Remote Sensing, 2019, 11(5): 559.

[15]

ZHANG

, PENG

. Infrared small target detection based on partial sum of the tensor nuclear norm[J]. Remote Sensing, 2019, 11(4): 382.

[16]

ZHANG

, ZHANG

, WANG

, et al. Edge and corner awareness-based spatial-temporal tensor model for infrared small-target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(12): 10708-10724.

[17]

LIU

, YANG

, LI

, et al. Nonconvex tensor low-rank approximation for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021(60): 1-18.

[18]

WANG

, TAO

, KONG

, et al. Infrared small target detection using nonoverlapping patch spatial-temporal tensor factorization with capped nuclear norm regularization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021(60): 1-17.

[19]

, ZHANG

, et al. Sparse regularizationbased spatial-temporal twist tensor model for infrared small target detection[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023(61): 1-17.

[20]

, YU

, LIU

, et al. Infrared small target detection using spatio-temporal 4D tensor train and ring unfolding[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023(61): 1-22.

[21]

RONNEBERGER

, FISCHER

, BROX

. U-net:Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention. Munich, Germany: Springer, 2015: 234-241.

[22]

VASWANI

, SHAZEER

, PARMAR

, et al. Attention is all you need[C]//International Conference on Neural Information Processing Systems. Long Beach, CA, USA: Curran Associates Inc, 2017: 5998-6008.

[23]

WANG

, ZHOU

, WANG

. Miss detection vs. false alarm: Adversarial learning for small object segmentation in infrared images[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, KOR:IEEE, 2019: 8509-8518.

[24]

DAI

, WU

, ZHOU

, et al. Asymmetric contextual modulation for infrared small target detection[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. Wailuku, HI, USA: IEEE, 2021: 950-959.

[25]

CHEN

, GAO

, LIU

, et al. Local patch network with global attention for infrared small target detection[J]. IEEE Transactions on Aerospace and Electronic Systems, 2022, 58(5): 3979-3991.

[26]

, XIAO

, WANG

, et al. Dense nested attention network for infrared small target detection[J]. IEEE Transactions on Image Processing, 2022 (32): 1745-1758.

[27]

ZHANG

, ZHANG

, YANG

, et al. ISNet: Shape matters for infrared small target detection[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: IEEE, 2022: 877-886.

[28]

LIU

, GAO

, CHEN

, et al. Infrared small and dim target detection with transformer under complex backgrounds[J]. IEEE Transactions on Image Processing, 2023(32): 5921-5932.

[29]

, HONG

, CHANUSSOT

. UIU-Net: U-Net in U-Net for infrared small object detection[J]. IEEE Transactions on Image Processing, 2022(32): 364-376.

[30]

SUN

, BAI

, YANG

, et al. Receptive-field and direction induced attention network for infrared dim small target detection with a large-scale dataset IRDST[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023(61): 1-13.

[31]

LIU

, LIU

, ZHENG

, et al. Infrared small target detection with scale and location sensitivity[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA: IEEE, 2024: 17490-17499.

[32]

TONG

, ZUO

, SU

, et al. ST-Trans: Spatial-temporal transformer for infrared small target detection in sequential images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024(62): 1-19.

[33]

回丙伟,宋志勇,王琦,等.空中弱小目标检测跟踪测试基准[J].航空兵器,2019,26(6):56-59.

HUI

B W

, SONG

Z Y

, WANG

, et al. A benchmark for dim or small aircraft targets detection and tracking[J]. Aero Weaponry,2019, 26(6): 56-59.

[34]

HUANG

, LI

, CHEN

, et al. Anti-UAV410: A thermal infrared benchmark and customized scheme for tracking drones in the wild[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 46(5): 2852-2865.

[35]

S W

, LEE

J Y

, XU

, et al. Video object segmentation using space-time memory networks[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, South Korea: IEEE,2019: 9226-9235.

[36]

CHENG

H K

, TAI

Y W

, Tang

C K

. Rethinking spacetime networks with improved memory coverage for efficient video object segmentation[J]. Advances in Neural Information Processing Systems, 2021(34): 11781-11794.

[37]

, HU

, XIONG

, et al. Recurrent dynamic embedding for video object segmentation[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA, USA: IEEE, 2022: 1332-1341.

[38]

, ZHANG

, REN

, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 770-778.

[39]

WANG

, SUN

, CHENG

, et al. Deep high-resolution representation learning for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 43(10): 3349-3364.

2025年第37卷第5期

PDF下载

149

引用本文

BibTeX

文章信息

doi: 10.3979/j.issn.1673-825X.202405060112

接收时间：2024-05-06
首发时间：2026-04-16

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-05-06
修回日期：2025-06-30

基金

作者信息

¹重庆邮电大学通信与信息工程学院，重庆 400065

²中国舰船研究设计中心，武汉 430064

通讯作者:

陈林 632559679@qq.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/cqyddxxb/CN/10.3979/j.issn.1673-825X.202405060112

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

指标	ATR-ISTD	UAV-ISTD
图像尺寸	256×256	640×512
图像类型	真实	真实
标注类型	掩码	掩码
图像帧数量	11243	11900
背景类型	田野、雨林	湖泊、城市天空、云层

指标

ATR-ISTD

UAV-ISTD

图像尺寸

256×256

640×512

图像类型

真实

标注类型

掩码

图像帧数量

11243

11900

背景类型

田野、雨林

湖泊、城市天空、云层

方法	ATR-ISTD数据集	UAV-ISTD数据集
IPI^[11]	45.68	86.83	59.86	53.63	26.30	35.29	103.24	8.72	17.20	11.57	21.11	0.65	1.27	183.76
NRAM^[13]	42.89	63.17	51.09	51.57	12.32	19.89	84.13	10.09	21.83	13.80	20.79	0.74	1.43	198.21
NOLC^[14]	39.00	47.38	42.78	48.44	10.11	16.73	74.11	7.43	12.70	9.38	19.69	0.56	1.10	158.15
PSTNN^[15]	41.52	89.37	56.70	46.70	25.51	33.00	125.89	5.28	9.89	6.88	14.02	0.37	0.71	181.15
ECA^[19]	57.17	90.90	70.20	68.78	25.70	37.41	68.10	12.37	12.45	12.41	20.88	0.26	0.52	89.93
4D^[20]	58.36	91.99	71.41	70.91	29.79	41.96	65.64	39.8	48.57	43.75	60.54	1.27	2.48	74.93
MDvsFA^[23]	50.93	40.79	45.30	42.64	38.50	40.46	39.30	57.15	42.64	48.84	71.72	51.42	59.9	31.97
LPNET^[25]	67.35	61.76	64.43	53.77	57.92	55.77	29.97	52.72	53.54	53.13	66.54	45.94	54.36	48.97
ISNET^[27]	70.92	70.26	70.59	62.17	47.87	54.09	28.81	74.14	59.37	65.94	73.64	54.74	62.80	21.06
ISTUC^[28]	76.71	88.98	82.39	57.66	59.45	58.54	27.02	73.54	65.51	69.29	58.16	71.29	64.06	24.00
UIUNET^[29]	64.04	66.41	65.20	57.25	55.80	56.52	37.29	59.14	60.28	59.71	63.18	54.76	58.67	41.73
RDIAN^[30]	81.97	87.9	84.83	68.04	56.99	62.02	19.34	81.31	63.76	71.47	67.45	61.34	64.25	14.67
MSHNET^[31]	82.40	88.37	85.28	60.28	56.77	58.47	18.88	70.58	63.40	66.80	59.72	64.85	62.18	26.45
本文方法	97.13	83.36	89.72	76.66	62.00	68.56	2.47	94.23	68.24	79.16	75.54	76.23	75.88	4.18

方法

ATR-ISTD数据集

UAV-ISTD数据集

目标级别

像素级别

F_a

目标级别

像素级别

F_a

IPI^[11]

45.68

86.83

59.86

53.63

26.30

35.29

103.24

8.72

17.20

11.57

21.11

0.65

1.27

183.76

NRAM^[13]

42.89

63.17

51.09

51.57

12.32

19.89

84.13

10.09

21.83

13.80

20.79

0.74

1.43

198.21

NOLC^[14]

39.00

47.38

42.78

48.44

10.11

16.73

74.11

7.43

12.70

9.38

19.69

0.56

1.10

158.15

PSTNN^[15]

41.52

89.37

56.70

46.70

25.51

33.00

125.89

5.28

9.89

6.88

14.02

0.37

0.71

181.15

ECA^[19]

57.17

90.90

70.20

68.78

25.70

37.41

68.10

12.37

12.45

12.41

20.88

0.26

0.52

89.93

4D^[20]

58.36

91.99

71.41

70.91

29.79

41.96

65.64

39.8

48.57

43.75

60.54

1.27

2.48

74.93

MDvsFA^[23]

50.93

40.79

45.30

42.64

38.50

40.46

39.30

57.15

42.64

48.84

71.72

51.42

59.9

31.97

LPNET^[25]

67.35

61.76

64.43

53.77

57.92

55.77

29.97

52.72

53.54

53.13

66.54

45.94

54.36

48.97

ISNET^[27]

70.92

70.26

70.59

62.17

47.87

54.09

28.81

74.14

59.37

65.94

73.64

54.74

62.80

21.06

ISTUC^[28]

76.71

88.98

82.39

57.66

59.45

58.54

27.02

73.54

65.51

69.29

58.16

71.29

64.06

24.00

UIUNET^[29]

64.04

66.41

65.20

57.25

55.80

56.52

37.29

59.14

60.28

59.71

63.18

54.76

58.67

41.73

RDIAN^[30]

81.97

87.9

84.83

68.04

56.99

62.02

19.34

81.31

63.76

71.47

67.45

61.34

64.25

14.67

MSHNET^[31]

82.40

88.37

85.28

60.28

56.77

58.47

18.88

70.58

63.40

66.80

59.72

64.85

62.18

26.45

本文方法

97.13

83.36

89.72

76.66

62.00

68.56

2.47

94.23

68.24

79.16

75.54

76.23

75.88

4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
直接融合	87.64	64.36	15.56	73.99	72.68	3.30
单向融合	87.00	66.21	10.79	74.77	72.20	4.60
不使用PSGF	76.04	59.57	3.24	76.41	70.79	7.15
使用PSGF	89.72	68.56	2.47	79.16	75.88	4.18

方法

ATR-ISTD数据集

UAV-ISTD数据集

F_a

直接融合

87.64

64.36

15.56

73.99

72.68

3.30

单向融合

87.00

66.21

10.79

74.77

72.20

4.60

不使用PSGF

76.04

59.57

3.24

76.41

70.79

7.15

使用PSGF

89.72

68.56

2.47

79.16

75.88

4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
串行设计	85.16	62.26	3.16	72.12	67.04	31.12
仅增强Y1	84.38	68.42	2.39	75.14	72.84	6.82
仅增强Y2	88.54	65.79	4.93	72.62	72.16	7.48
不使用PLG-FE	87.90	63.27	3.85	71.29	66.93	31.79
使用PLG-FE	89.72	68.56	2.47	79.16	75.88	4.18

方法

ATR-ISTD数据集

UAV-ISTD数据集

F_a

串行设计

85.16

62.26

3.16

72.12

67.04

31.12

仅增强Y1

84.38

68.42

2.39

75.14

72.84

6.82

仅增强Y2

88.54

65.79

4.93

72.62

72.16

7.48

不使用PLG-FE

87.90

63.27

3.85

71.29

66.93

31.79

使用PLG-FE

89.72

68.56

2.47

79.16

75.88

4.18

方法	ATR-ISTD数据集	UAV-ISTD数据集
交互策略1	84.54	63.90	7.01	73.39	72.55	6.00
交互策略2	85.87	67.69	10.48	74.33	72.20	8.27
交互策略3	89.72	68.56	2.47	79.16	75.88	4.18
交互策略4	87.74	67.80	2.31	77.03	71.93	11.79
交互策略5	84.26	64.76	7.94	75.02	73.35	5.64

方法

ATR-ISTD数据集

UAV-ISTD数据集

F_a

交互策略1

84.54

63.90

7.01

73.39

72.55

6.00

交互策略2

85.87

67.69

10.48

74.33

72.20

8.27

交互策略3

89.72

68.56

2.47

79.16

75.88

4.18

交互策略4

87.74

67.80

2.31

77.03

71.93

11.79

交互策略5

84.26

64.76

7.94

75.02

73.35

5.64