遥测遥控

算法名称	算法方法	算法原理	算法特点
AMRNet^[16]	尺度自适应模块	动态调整图像块尺寸平衡目标尺度	需要大量的额外标注数据，增加了数据处理的复杂性
RRNet^[17]	语义分割	采用“复制-粘贴”数据集中已标注实例增加小目标数量	避免背景不匹配和尺度不匹配问题，引入了语义分割先验信息确定带粘贴区域，保证一致性

算法名称	算法方法	算法原理	算法特点
AMRNet^[16]	尺度自适应模块	动态调整图像块尺寸平衡目标尺度	需要大量的额外标注数据，增加了数据处理的复杂性
RRNet^[17]	语义分割	采用“复制-粘贴”数据集中已标注实例增加小目标数量	避免背景不匹配和尺度不匹配问题，引入了语义分割先验信息确定带粘贴区域，保证一致性

算法名称	算法方法	算法原理	算法特点
DeeplabV3+^[18]	多尺度上下文信息	基于多尺度上下文信息和低级特征进行语义分割	解决多次下采样导致特征图分辨率降低，影像预测精度。不同尺度的特征图融合，提高分割效果
Dense-Unet^[19]	结合继承学习方法	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能

算法名称	算法方法	算法原理	算法特点
DeeplabV3+^[18]	多尺度上下文信息	基于多尺度上下文信息和低级特征进行语义分割	解决多次下采样导致特征图分辨率降低，影像预测精度。不同尺度的特征图融合，提高分割效果
Dense-Unet^[19]	结合继承学习方法	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能

算法名称	算法方法	算法原理	算法特点
FS-SSD^[25]	多尺度检测	将主干网络不同卷积层输出的特征图融合，获得分辨率和丰富语义信息的特征表示	以SSD算法为基础，保留多尺度检测优势，极大提升了SSD的小目标检测能力
AF-SSD^[26]	多层特征融合结构	通过多层特征融合结构以融合较浅层和较深层的特征信息	具有多尺度检测优势，可应对不同大小、形状和长宽比的目标

算法名称	算法方法	算法原理	算法特点
FS-SSD^[25]	多尺度检测	将主干网络不同卷积层输出的特征图融合，获得分辨率和丰富语义信息的特征表示	以SSD算法为基础，保留多尺度检测优势，极大提升了SSD的小目标检测能力
AF-SSD^[26]	多层特征融合结构	通过多层特征融合结构以融合较浅层和较深层的特征信息	具有多尺度检测优势，可应对不同大小、形状和长宽比的目标

类型	算法名称	传统分割方法	算法原理	算法特点
传统算法	阈值法	图像灰度特征	通过设定阈值，将图像分为两类以达到语义分割的目的	易受光照、阴影等因素影像
边界法	图像边缘分割	通过寻找图像中边缘进行分割，对弱小目标所处在边缘的目标分割效果较好	不适用于内部结构复杂或在边缘模糊的弱小目标
区域法	图像多区域分割	将遥感影像分为多个区域，每个区域内部属性相似，不同区域间属性有差异	需要进行大量的计算时间及计算资源
深度学习	数据扩充	数据扩充及增强	有效处理目标尺度差异大于小目标密集分布的问题，动态调整图像块的尺寸或增加训练数据量，提高模型性能及对小目标的识别能力	需要大量额外标注数据，增加数据处理的难度
空洞卷积	CNN	能够快速自动提取与学习图像中的目标特征，从而提高分割精度，改善目标边缘及小尺度目标物体分割效果	需要对在多层次特征信息找到平和，导致模型过于复杂，难以训练
数据特征融合	特征融合	通过融合不同层次的特征信息，获得分辨率和丰富语义信息的特征表示，提升模型对小目标识别能力	计算资源较大、时间训练较长，模型解释性较差

类型	算法名称	传统分割方法	算法原理	算法特点
传统算法	阈值法	图像灰度特征	通过设定阈值，将图像分为两类以达到语义分割的目的	易受光照、阴影等因素影像
边界法	图像边缘分割	通过寻找图像中边缘进行分割，对弱小目标所处在边缘的目标分割效果较好	不适用于内部结构复杂或在边缘模糊的弱小目标
区域法	图像多区域分割	将遥感影像分为多个区域，每个区域内部属性相似，不同区域间属性有差异	需要进行大量的计算时间及计算资源
深度学习	数据扩充	数据扩充及增强	有效处理目标尺度差异大于小目标密集分布的问题，动态调整图像块的尺寸或增加训练数据量，提高模型性能及对小目标的识别能力	需要大量额外标注数据，增加数据处理的难度
空洞卷积	CNN	能够快速自动提取与学习图像中的目标特征，从而提高分割精度，改善目标边缘及小尺度目标物体分割效果	需要对在多层次特征信息找到平和，导致模型过于复杂，难以训练
数据特征融合	特征融合	通过融合不同层次的特征信息，获得分辨率和丰富语义信息的特征表示，提升模型对小目标识别能力	计算资源较大、时间训练较长，模型解释性较差

类型	算法名称	算法方法	算法原理	算法优点	算法缺点
传统检测算法	滑动窗口检测	级联分类器	采用基于Haar-like特征和级联分类器的结构实现快速目标检测	实现简单、检测速度块	对尺度变化、旋转变化和遮挡等情况处理较弱
手工特征提取	分类器	通过手工设计特征描述目标，使用分类器进行分类	对复杂背景和多尺度、多姿态的小目标具有良好的检测效果	特征设计过程繁琐，人力成本高
基于上下文信息方法	上下文信息	通过对弱小目标的上下文信息进行分析，提高检测准确性	利用上下文信息提高检测准确性和鲁棒性	计算复杂度较高
深度学习	RCNN 系列	RCNN	AlexNet	选择性搜索算法、SVM
SPPNet	空间金字塔池化层	避免卷积特征重复计算
Fast RCNN	VGG16	检测速度较慢，但检测速度是RCNN的200倍
Faster RCNN	Region Proposal Network	区域选择网络，提升检测框生成速度
FPN	ResNet-101	1)自底向上连接CNN下采样通 2)自顶向下连接 3)侧向连接，将上采样后的深层特征层和浅层特征层进行融合
Cascade RCNN	ResNet-101	通过IoU阈值训练级联检测器，使得定位精度高
YOLO 系列	YOLOv1	GoogLeNet	one-stage 检测模型
YOLOv2^[38]	Darknet19	提升性能；利用分类数据集
YOLOv3^[39]	Darknet53	进一步提升性能
YOLOv4^[40]	CSPDarknet53	总结技巧，通过实验找到最佳组合
YOLOv5	Focus+CSP	结构灵活应用
YOLOv6	Focus+RepBlock	支持模型训练、推理及多平台部署等应用需求
YOLOv7^[41]	多路卷积模块	实时目标检测器，具有最快的推理速度和检测精度

类型	算法名称	算法方法	算法原理	算法优点	算法缺点
传统检测算法	滑动窗口检测	级联分类器	采用基于Haar-like特征和级联分类器的结构实现快速目标检测	实现简单、检测速度块	对尺度变化、旋转变化和遮挡等情况处理较弱
手工特征提取	分类器	通过手工设计特征描述目标，使用分类器进行分类	对复杂背景和多尺度、多姿态的小目标具有良好的检测效果	特征设计过程繁琐，人力成本高
基于上下文信息方法	上下文信息	通过对弱小目标的上下文信息进行分析，提高检测准确性	利用上下文信息提高检测准确性和鲁棒性	计算复杂度较高
深度学习	RCNN 系列	RCNN	AlexNet	选择性搜索算法、SVM
SPPNet	空间金字塔池化层	避免卷积特征重复计算
Fast RCNN	VGG16	检测速度较慢，但检测速度是RCNN的200倍
Faster RCNN	Region Proposal Network	区域选择网络，提升检测框生成速度
FPN	ResNet-101	1)自底向上连接CNN下采样通 2)自顶向下连接 3)侧向连接，将上采样后的深层特征层和浅层特征层进行融合
Cascade RCNN	ResNet-101	通过IoU阈值训练级联检测器，使得定位精度高
YOLO 系列	YOLOv1	GoogLeNet	one-stage 检测模型
YOLOv2^[38]	Darknet19	提升性能；利用分类数据集
YOLOv3^[39]	Darknet53	进一步提升性能
YOLOv4^[40]	CSPDarknet53	总结技巧，通过实验找到最佳组合
YOLOv5	Focus+CSP	结构灵活应用
YOLOv6	Focus+RepBlock	支持模型训练、推理及多平台部署等应用需求
YOLOv7^[41]	多路卷积模块	实时目标检测器，具有最快的推理速度和检测精度

算法名称	算法方法	算法原理	算法优点	算法缺点
光流法	基于图像序列中像素点运动方法	计算相邻帧间的光流矢量来跟踪目标的位置和形状	对目标形状及大小变化较小，可处理遮挡问题	在光照变化大的情况下，跟踪精度会受到影响
卡尔曼滤波	概率论	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能	需要对系统模型进行准确建模，对实时性要求高
粒子滤波	基于统计方法	通过模拟目标的运动轨迹跟踪目标位置与形状	可处理非线性和非高斯分布问题，使用复杂跟踪场景	需要大量的采样与计算，对粒子滤波的计算复杂度要求较高
均值漂移	基于密度梯度方法	通过寻找样本点的密度梯度跟踪目标位置与形状	可处理遮挡及变形问题，使用实时跟踪应用	对于目标的初始位置和速度等参数敏感，可能导致跟踪失败
孪生网络	对比学习特征表示	通过将目标的图像与周遭环境对比，来学习目标的特征表示，这样就可以处理尺度变化、形变等诸多问题，同时还具有较高的准确性和鲁棒性
基于相关滤波器的方法	用滤波器对目标及背景进行建模	有着简单、快速而又准确的特点，并且可以使用于实时系统
DeepSORT	基于深度学习的多目标跟踪算法	基于目标外观、目标的运动和时空等多方面特征的相似性，将不同视频帧所检测到的目标关联成轨迹，这样就不需要手动选择特征，而是可以通过大量的数据就使模型训练获得足够优秀的特征提取能力
MOT算法	通过检测进行跟踪	从视频帧中提取出其中的一组检测结果，并将其用于引导整个跟踪过程，把相同的ID分配给包含着相同目标的边界框，这样就把任务转化成了分配问题，确保了检测质量的良好
递归神经网络	建模并挖掘对整体跟踪有用的部分	可以解决预测误差累积以及传播导致的跟踪漂移等问题。利用递归结构可以使每个分块的输出值都能受到其他关联分块的影响，以此来避免单个方向的影响，同时还可以置权，使其比仅仅考虑当前位置时的准确度更高。

算法名称	算法方法	算法原理	算法优点	算法缺点
光流法	基于图像序列中像素点运动方法	计算相邻帧间的光流矢量来跟踪目标的位置和形状	对目标形状及大小变化较小，可处理遮挡问题	在光照变化大的情况下，跟踪精度会受到影响
卡尔曼滤波	概率论	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能	需要对系统模型进行准确建模，对实时性要求高
粒子滤波	基于统计方法	通过模拟目标的运动轨迹跟踪目标位置与形状	可处理非线性和非高斯分布问题，使用复杂跟踪场景	需要大量的采样与计算，对粒子滤波的计算复杂度要求较高
均值漂移	基于密度梯度方法	通过寻找样本点的密度梯度跟踪目标位置与形状	可处理遮挡及变形问题，使用实时跟踪应用	对于目标的初始位置和速度等参数敏感，可能导致跟踪失败
孪生网络	对比学习特征表示	通过将目标的图像与周遭环境对比，来学习目标的特征表示，这样就可以处理尺度变化、形变等诸多问题，同时还具有较高的准确性和鲁棒性
基于相关滤波器的方法	用滤波器对目标及背景进行建模	有着简单、快速而又准确的特点，并且可以使用于实时系统
DeepSORT	基于深度学习的多目标跟踪算法	基于目标外观、目标的运动和时空等多方面特征的相似性，将不同视频帧所检测到的目标关联成轨迹，这样就不需要手动选择特征，而是可以通过大量的数据就使模型训练获得足够优秀的特征提取能力
MOT算法	通过检测进行跟踪	从视频帧中提取出其中的一组检测结果，并将其用于引导整个跟踪过程，把相同的ID分配给包含着相同目标的边界框，这样就把任务转化成了分配问题，确保了检测质量的良好
递归神经网络	建模并挖掘对整体跟踪有用的部分	可以解决预测误差累积以及传播导致的跟踪漂移等问题。利用递归结构可以使每个分块的输出值都能受到其他关联分块的影响，以此来避免单个方向的影响，同时还可以置权，使其比仅仅考虑当前位置时的准确度更高。

遥感影像弱小目标智能解译算法研究

PDF下载

温海宇 , 刘昊 , 李育恒 , 沈永健 , 原昊

遥测遥控 | 人工智能技术 2024,45(2): 18-28

收起

遥测遥控 | 人工智能技术 2024, 45(2): 18-28

遥感影像弱小目标智能解译算法研究

全屏

温海宇, 刘昊, 李育恒, 沈永健, 原昊

作者信息

北京遥测技术研究所　北京　100076

温海宇 1998年生，硕士研究生。

刘昊 1976年生，博士，研究员。

李育恒 1993年生，硕士，工程师。

沈永健 1985年生，博士，研究员。

原昊 1998年生，硕士，助理工程师。

Research on Intelligent Interpretation Algorithms for Weak and Small Targets in Remote Sensing Images

Haiyu WEN, Hao LIU, Yuheng LI, Yongjian SHEN, Hao YUAN

Affiliations

Beijing Research Institute of Telemetry, Beijing 100076, China

doi: 10.12347/j.ycyk.20231201003

文章导航

摘要

收起

随着遥感技术的快速发展，光学遥感影像弱小目标智能解译成为遥感信息处理的研究热点之一。遥感影像的地物目标常具有尺度小、种类多、数量大、部分重点小目标移动速度快的特点，易受到复杂背景环境及噪声影响，使得提取遥感影像弱小目标的信息面临着巨大的挑战。早期智能解译算法中的弱小目标分割、检测及跟踪等算法研究，多依赖模板匹配及先验知识，此类算法需耗费大量资源、算力及专家知识成本，存在着计算量大、泛化能力差的问题。近年来，随着深度学习等人工智能技术的快速发展，在海量遥感数据中准确获取弱小目标的信息，通过结合深度学习算法可对弱小目标的特征进行快速提取，以提供高效、准确的解译信息。本文综述了遥感影像弱小目标智能解译算法研究进展，包括基于传统图像处理方法的弱小目标分割、检测和跟踪算法，以及基于深度学习等典型相关算法。通过分析这些方法的优点与局限性，对于提高相关目标的信息获取能力、提升观测的态势感知水平以及未来应用等方面具有重要意义。

关键词

遥感影像 / 弱小目标 / 深度学习 / 智能解译

Abstract

收起

With the rapid development of remote sensing technology, the intelligent decoding of weak targets in optical remote sensing images has become one of the research hotspots in remote sensing information processing. The feature targets of remote sensing images are often characterized by small scale, many types, a large number, fast moving speed of some key small targets, and are easily affected by the complex background environment and noise, which makes it a great challenge extract information from weak targets in remote sensing images. Early research on weak target segmentation, detection, and tracking algorithms in intelligent interpretation algorithms mostly relied on template matching and a priori knowledge, and such algorithms need to consume a lot of resources, arithmetic, and expert knowledge costs, and there were problems of large computational volume and poor generalization ability. In recent years, with the rapid development of deep learning and other artificial intelligence technologies, the information of weak targets can be accurately obtained in massive remote sensing data, and the features of weak targets can be quickly extracted by combining deep learning algorithms to provide efficient and accurate decoding information. This paper summarizes the research progress of intelligent interpretation algorithms for weak targets in remote sensing images, including weak target segmentation, detection, and tracking algorithms based on traditional image processing methods, as well as typical related algorithms based on deep learning. By analyzing the advantages and limitations of these methods, it is of great significance to improve the information acquisition ability of relevant targets, enhance the situational awareness level of observation, and future applications.

Key words

Remote sensing image / Dim target / Deep learning / Intelligent interpretation

引用本文

温海宇, 刘昊, 李育恒, 沈永健, 原昊. 遥感影像弱小目标智能解译算法研究. 遥测遥控, 2024 , 45 (2) : 18 -28 . DOI: 10.12347/j.ycyk.20231201003

Haiyu WEN, Hao LIU, Yuheng LI, Yongjian SHEN, Hao YUAN. Research on Intelligent Interpretation Algorithms for Weak and Small Targets in Remote Sensing Images[J]. Journal of Telemetry, Tracking and Command, 2024 , 45 (2) : 18 -28 . DOI: 10.12347/j.ycyk.20231201003

正文

收起

0　引言

收起

随着遥感影像领域技术的快速发展，遥感影像的分辨率获得了极大提升，这些高分辨率遥感影像可供人们实现对地表弱小目标进行全天候、高精度观测，因而成为对地精细观测的主要数据源之一。遥感影像可提供大范围的地标信息，对于目标信息收集、地面态势感知及目标识别等领域具有重要作用^[1]。

相比于传统中低分辨率遥感影像，高分辨率遥感影像可以精细地刻画地表空间细节信息，但在拍摄过程中，高分辨率遥感影像也更易受到成像元器件、云雾、遮挡等影响^[2]，对遥感影像中的弱小目标(如特定建筑物、隐蔽设施、小型车辆等)的目标分割、检测以及跟踪造成大量干扰，为高分辨率遥感影像智能解译带来诸多挑战^[3]。

如何从大量的遥感影像中将重要的、特征鲜明的重点弱小目标解译出来，成为了一个重要的研究课题^[4]。随着遥感影像空间分辨率不断提升，面向对象的超像素分割方法和机器学习方法逐渐成为早期研究的主流方向，它们通过手动设计特征算子来提取目标判别性特征的方法，具有较好的适应性和泛化性，在遥感目标检测任务中起到了关键作用。在遥感影像数据的爆炸式增长下，传统算法均存在着大量解译信息不明确及计算耗时长等问题。

遥感影像弱小目标智能解译系统信息结构如图1所示，通过结合深度学习和计算机视觉等一系列目前已研究的算法，基于深度学习的图像智能解译算法可快速提取遥感影像中弱小目标的特征信息，可自动识别出遥感影像中弱小但重要的目标，能够大幅提升弱小目标的检测效率，进而实现对弱小目标的准确识别及跟踪，对提高其弱小目标的解译精度及解译效率产生了极大的效果^[5]。

本文首先介绍遥感影像的基本特性及弱小目标在遥感影像中的表现，现有的弱小目标解译算法，包括传统算法及基于深度学习相关算法。通过分析此类方法的优点及局限性，讨论在实际应用中可能遇到的问题。

1　遥感影像弱小目标及特征样本库特性介绍

收起

1.1　弱小目标特性分析

通常情况下，遥感影像中的弱小目标尺度多为3×3像素到10×10像素，呈现又“弱”又“小”的尺寸特点^[6]，其中目标特征“弱”的特点主要体现在外部轮廓的不清晰、纹理特征的不突出、与邻近背景特征的相似度高；目标尺寸“小”的特点主要体现在目标相较整幅图像而言像素占比少^[7]。弱小目标的视觉特征较差、背景噪声较多，同时具备目标分布尺度差异性大、小目标数量密集分布、单一目标存在覆盖面积小及包含有效特征少的特点，使得小目标智能解译技术成为了计算机视觉最具挑战任务之一。

弱小目标的特征一般划分为两类：表观特征及运动特征。表观特征包括了弱小目标的灰度特征、弱小目标尺寸及较少纹理特征等；而运动特征描述的帧间运动属性，包括了目标帧间位移等。一般情况下，弱小目标为圆斑状结构，对其建模为二维高斯模型^[8]：

(1)

其中，(x₀,y₀)是弱小目标中心位置，D为弱小目标的扩散域；σ_x为目标在x的扩散半径，σ_y为y方向上的扩散半径，扩散半径可描述弱小目标的空间尺度信息。

1.1.1　弱小目标大小

其特征包括弱小目标面积、所在区域宽高比、目标尺度等。其中，弱小目标面积为目标所在的区域内包含的像素点个数，而目标宽高则为区域宽度像素与高度像素的个数比值，弱小目标尺度为区域所有方向中相面最大距离。弱小目标大小的特征计算公式如下所示：

(2)

(3)

其中，w和h为目标区域的宽度和高度，弱小目标大小以像素数进行度量。

1.1.2　弱小目标跟踪帧间位移

帧间位移是弱小目标在连续帧间的运动速度快慢，其定义为以连续两帧中目标中心位置作为目标的像面距离度量，其公式如下所示：

(4)

其中，(C1_x,C1_y)为弱小目标前一帧的形心坐标，(C2_x,C2_y)为目标当前帧的形心坐标。

1.1.3　运动角度差

在对弱小目标进行跟踪过程中，可通过计算弱小目标连续两帧运动方向向量夹角定义运动特征。

(5)

其中，(D1_x,D1_y)、(D2_x,D2_y)是目标连续两帧的运动方向向量。

1.2　复杂背景特性分析

通常情况下，在对遥感影像的弱小目标进行智能解译算法时，由于遥感卫星拍摄等多方因素，实际的弱小目标的背景显示常为陆地、海面、云层、建筑等变化不明显的场景，且此类背景的内部特征变化不明显，内部的色彩单一，经常与弱小目标融为一体，使得获得的影像具备大量由于各种因素造成的背景噪声，在数据的相邻帧之间，此类背景像素特征有非常大的关联性^[9]。

如何定义并利用其物理意义去除背景噪声页，成为了遥感影像图像预处理方面的主要研究方向。早期文献中，学者们通过相关研究分析噪声主要呈高斯分布特点且大量噪声多为白噪声；近年来，学者对背景噪声进行抑制分析处理时确定其呈现高斯分布^[10]。背景噪声多为一种随机产生的信号，其频率随机，无规律可循^[11]。在复杂背景下，对其弱小目标进行跟踪检测时，随机出现的高斯噪声常作为一个常数计算，可表示为

F(x,y,k)=M(x,y,k)+G(x,y,k)+C(x,y,k)(6)

(x,y)表示弱小目标的位置坐标，k为相邻帧之间的差，M(x,y,k)、G(x,y,k)、C(x,y,k)分别表示弱小目标、高斯噪声及背景常量^[12]。在弱小目标检测及跟踪的智能解译过程中，图像预处理时主要需要解决的问题为背景噪声的影响。

2　遥感影像弱小目标分割算法分析

收起

2.1　基于传统算法的弱小目标分割方法

遥感影像的图像预处理主要任务是采用有效的方法，对原始图像中弱小目标进行分割，将各类杂波的干扰进行抑制，从而提升图像信噪比。这类弱小目标的分割预处理一般会采用阈值法、边界法、区域法及混合法^[13]，具体算法特点见2.2.3节。

随着技术工程应用，基于传统算法的遥感影像弱小目标分割技术存在着明显的缺点。首先，当拍摄光学遥感影像受到光照、阴影等因素影响时，对复杂的遥感影像弱小目标无法获得良好的分割结果；其次，虽然边界法对遥感影像弱小目标的边缘检测效果较好，但在遇到内部结构复杂或边缘模糊目标时，此方法无法准确进行图像类别分割；而区域法虽效果良好，但其网络进行多区域分割后进行计算时所需的计算资源巨大，耗费大量的计算资源。

2.2　基于深层学习的弱小目标语义分割算法

为了对遥感图像中的弱小目标进行分割，利用传统方法对复杂背景中的弱小目标分割时特征易被淹没，回归分支敏感问题也会影响分割准确性，难以取得理想的分割效果。因此，在图像分割预处理时，通常需要结合更先进的深度学习技术方法，常见的遥感影像弱小目标分割技术主要包括基于数据扩充的方法、基于空洞卷积的方法及基于特征融合的方法，典型的算法网络分布如图2所示。

目前国内外已有多篇文章，对弱小目标的语义分割研究现状进行了总结和分析，如文献[14]对基于图像重点区域，以及基于像素分类的语义分割方法进行了详细的分类和总结，同时，文章将各种算法性能进行了对比。文献[15]对目前国外的语义分割算法需求、起源及各算法的贡献进行了梳理，最后对其算法研究方法的实现细节展开论述。

2.2.1　基于数据扩充的弱小目标语义分割算法

基于数据扩充的弱小目标语义分割算法主要解决的是遥感影像中弱小目标检测困难的问题，主要原因有两个：弱小目标实例较少及弱小目标标注的面积在遥感影像中的占比小。这类方法通过增加训练数据，以提高模型对小目标的识别能力。AMRNet网络与RRNet网络为典型数据扩充算法，前者提出尺度自适应模块以动态调整图像块的尺寸来平衡目标尺度；后者采用“复制-粘贴”数据集中已标注实例的方式增加小目标数量，同时为了避免背景不匹配和尺度不匹配问题，引入了语义分割先验确定待粘贴区域，并在粘贴时转换目标尺度，从而保证了粘贴前后的一致性，提高语义分割效果。基于数据扩充的弱小目标语义分割的典型算法分析如表1所示。

一些研究尝试从改进数据扩增方式的角度提升小目标检测的准确率，比如对训练数据进行旋转、翻转、缩放等变换，或者利用生成对抗网络(GAN)来生成更多的训练样本。总的来说，基于数据扩充的方法能够有效提高弱小目标的检测精度，但同时也需要大量的额外标注数据，这也在一定程度上增加了数据处理的复杂性。

2.2.2　基于空洞卷积的弱小目标语义分割算法

基于空洞卷积的弱小目标语义分割算法主要是通过深度神经网络的学习，自动提取和学习图像中的目标特征。其中，Deeplabv3+网络与Dense-Unet网络为典型空洞卷积的弱小目标分割算法。改进后的Deeplabv3+网络，在遥感图像语义分割中的性能算法优异，提高了弱小目标边缘、小尺度的目标物体分割效果；基于Dense-Unet网络和集成学习方法，能够实现高分辨率遥感图像中的弱小目标的精准分割。基于空洞卷积的弱小目标语义分割的典型算法分析如表2所示。

① 注意力机制

为了在遥感影像中，获得需要重点关注的目标及重点区域范围，注意力机制主要是为了获取遥感语义分割中，弱小图像中更多的细节及关键信息，提高目标的分割结果的准确度。近年来，研究学者提出了基于逐点空间注意力的网络(Pointwise Spatial Attention Network, PSANet)方法，利用学习注意力机制^[20]，在分割过程中，将图像中的每个像素位置与其他像素进行位置映射，再根据位置之间的映射分布结果提高图像的预测精度等值。HU Xinxin提出的非对称卷积网络(Asymmetric Convolution Net, ACNet)^[21]利用了深度学习中的残差神经网络(Residualneural Network, ResNet)^[22]进行了图像的特征提取，通过在不同层次特征中，根据信息量的大小以设置注意力机制，进而达到特征之间的平衡和对有效弱小目标所在区域的分割。

② 上采样及上下文聚合方式

2019年由TIAN Zhi等人提出了基于新型上采样模块进行语义分割的方法，该方法可以代替原有的双线性插值法，快速地提升了图像分割精度，且改进后的新上采样模块的计算量，仅有原来的20%~30%，取得了非常优异的效果^[23]。YUAN Yuhui等人也提出了基于对象上下文表示的语义分割算法^[24]，该方法研究上下文聚合策略，通过在监督学习下对弱小目标区域，汇总对象区域中的像素来计算对象的区域表示。

2.2.3　基于特征融合的弱小目标语义分割算法

基于特征融合的弱小目标语义分割算法主要是通过融合不同层次的特征信息，以提高模型对小目标的识别能力。其中，基于特征融合和缩放的单点探测器(Feature Fusion and Scaling-based Single Shot Detector, FS-SSD)网络与基于注意力和特征融合的单点探测器(Attention and Feature Fusion Single Shot Detector, AF-SSD)网络为典型特征融合弱小目标语义分割算法。FS-SSD以SSD算法为基础，保留其多尺度检测优势的同时，将主干网络不同卷积层输出的特征图进行融合，获得分辨率和丰富语义信息兼备的特征表示；AF-SSD则通过多层特征融合结构融合较浅层和较深层的特征信息，提高语义分割效果。基于特征融合的弱小目标语义分割的典型算法分析如表3所示。表4为遥感影像弱小目标语义分割性能对比分析。

3　遥感影像弱小目标检测算法分析

收起

3.1　基于传统算法的弱小目标检测算法

目标检测是对给定的图像视频进行处理，识别出感兴趣的目标并进行定位的技术。在传统弱小目标检测以及目标跟踪算法中，对遥感弱小目标的图像序列检测需要通过各种方法，去抑制遥感影像的复杂背景环境噪声，继而排除干扰因素以增强遥感图像的信噪比，通过对连续N帧图像的像素以积累弱小目标的能量，提高弱小目标的检测能力与检测精度，不单单要确定目标类型，更要在此基础之上判断其所在的像素范围^[27]，以方便后续通过一系列目标跟踪算法对弱小目标对象及区域进行跟踪和轨迹预测。

常用的传统弱小目标检测算法具体包含：基于滑动窗口的检测方法、基于特征提取的方法以及基于上下文信息的方法。

基于滑动窗口的检测方法算是较为常用的目标检测方法，其核心思想是在图像上选取一个矩形区域为窗，以作为算法的候选区域，然后滑动窗口遍历输入图像，并使用分类器来对窗口内图像进行分类，从而实现整张遥感影像的弱小目标检测^[28]。

基于手工特征提取的检测方法则是早期的目标检测方法，其本质就是提取图像中如边缘和颜色等特征，通过诸如尺度不变性、局部二值模式特征等方法，将所感兴趣的图像内容转化成需要的特征向量后，用分类器来进行检测识别。

基于上下文信息的检测方法通过连接了多尺度特征，并且使用来自于不同层次的附加特征作为上下文，利用目标之间的关系，如空间关系、背景关系等来提高对小目标的检测精度。

3.2　基于深度学习的弱小目标检测算法

传统目标检测识别算法效果较差、准确度低且计算量较大，目标检测的运算速度慢。以上缺点使得在2012年出现的AlexNet网络，正式开启了卷积神经网络在图像处理领域中的应用，国内外研究学者对目标检测技术的发展路线由传统算法转向了基于深度学习的方向^[29]。图3为2012年至2022年期间目标检测发展脉络。

基于上述传统目标检测算法存在的缺陷，在早期引入深度学习的算法中，Girshick提出了候选区域的卷积神经网络(Regions with Convolutional Neural Networks, RCNN)方法，采用选择性搜索的策略在输入图像中生成候选区域，使其平均准确率得到了大约30%的提升^[30]。次年提出的空间金字塔池(Spatial Pyramid Pooling, SPPNet)算法引入了空间金字塔池化层来移除CNN对于网络固定尺寸的限制问题，SPP层放在最后一个卷积层的后面对特征进行池化，然后产生固定长度的输出，并返给全连接层^[31]。同年Girshick提出的Fast RCNN^[32]以及后来REN Shaoqing改进的Faster RCNN^[33]，进一步提高了准确率并提升了检测速率，但是仍然无法做到实时检测。随后RCNN系列还诞生了特征金字塔网络(Feature Pyramid Networks, FPN)^[34]和级联候选区域的卷积神经网络(Cascade RCNN)^[35]算法，进一步提升了准确率。

相较于注重准确率牺牲速率的RCNN算法，Redmon等人提出的你只看一次(You Only Look Once, YOLO)算法^[36]则是基于非候选区域的一步检测，专注于检测速率但牺牲了检测效果，其准确率随着后续版本提升才得到了逐步改善，其中YOLOv5和YOLOv6没有形成论文。

除此以外目前还有一些其他的检测算法，如闫钧华、张琨等人为解决遥感图像地面弱小目标检测中弱小目标信息量少、信息真假混杂的难题，设计了一种融合多层级特征的遥感图像地面弱小目标检测算法，利用深度卷积神经网络逐级对目标图像进行特征提取^[37]。表5为遥感影像弱小目标检测性能对比分析。

4　遥感影像弱小目标跟踪算法分析

收起

4.1　基于传统算法的弱小目标跟踪算法

复杂背景环境下的弱小目标往往存在多变、目标运动速度、成像距离远的缺点，为了使遥感影像解译具有智能化特性，采用弱小目标跟踪算法，可使复杂背景下对目标的检测、锁定、跟踪更有优势^[42]。早期，传统方法提出利用遥感影像预处理手段抑制背景与增强目标信号，将通信领域的相关滤波引入到对重点目标跟踪中。后续提出的一些基于相关滤波的跟踪算法(CSK^[43]、BACF^[44]、MOSSE^[45]、KCF^[46]、SAMF^[47])等也被广泛应用于跟踪算法中。主流的传统算法弱小目标的跟踪技术包括：光流法、卡尔曼滤波、粒子滤波、均值漂移。

智能解译算法在对弱小目标跟踪过程中，弱小目标的强度、形状、大小等都会发生变化，又因为弱小目标之间的相似度较高，当多个目标在邻近图像区域运动时容易发生跟踪错误。光流法主要针对外观序列进行相邻帧之间的像素计算，通过寻找位移变化关系判断弱小目标的运动状态，实现对运动目标的跟踪功能。

由于弱小目标本身外观变化具有随机性和多样性特点，在光照、运动模糊、分辨率低及目标旋转形变的情况下，传统算法的跟踪方法主要是基于特定的数学模型来描述目标和背景的特征，单一的数据模型跟踪目标具备很大的局限性，对遥感影像背景信息利用不充分，对于尺度、姿态、光照等因素变化的鲁棒性差，此类模型大多无法很好地处理复杂的实际情况，需要进行大量的采样与计算，计算复杂度较高。

4.2　基于深度学习的弱小目标跟踪算法

传统算法对图像的背景信息利用不全面、弱小目标外观变化带来的影响大、缺乏有效的预测机制、需要大量的计算资源以及对于尺度、姿态、光照等因素变化的鲁棒性差；对于邻近多目标，除了上述独立运动目标的限制因素之外，还存在着目标相似和目标轨迹交叉引起的目标错配等。

深度学习目标跟踪算法目前的应用主要可以分成两类，一类是框架部分使用上文提到的相关滤波算法，而特征部分使用深度学习算法，计算目标的响应值来进行跟踪^[24]；二类是基于神经学习网络结构的跟踪算法，其又可以分为判别式算法和生成式算法^[48]。

基于深度学习的弱小目标跟踪算法主要应用于复杂背景中，对弱小目标的准确快速检测和持续跟踪有着至关重要的作用，这类算法通常包括预处理模块、检测模块和跟踪模块三部分。对于独立弱小运动目标，限制其跟踪准确度的因素主要有目标过弱以及背景变化导致的检测困难、目标形变导致的目标跟踪困难。目前，判别式的深度目标跟踪算法要略优于生成式，因为训练数据缺乏，而判别式的分类器是区分物体和背景的。此外特征的好坏也是一个重要的影响因素，但深度特征提取却会影响到算法速度，因此根据不同层的特征来自适应选择是一个同时保证速度和精度的良好方案。表6为遥感影像弱小目标跟踪性能对比分析：

5　遥感影像弱小目标智能解译算法未来研究方向

收起

5.1　多源遥感数据融合

多源数据融合的主要目的在于综合多种传感器及其中不同波段的信息，以达到消除冗余、及时可靠提取遥感信息和增强数据使用效率的效果^[49]。目前，对于遥感影像的多源数据融合的研究主要有三个方面^[50]：一是对于图像配准的方法，尤其是针对多幅图像的自动配准技术及典型特征提取控制点；二是对于图像融合统一框架的建立，将统计信息和知识理解互相结合，以智能化和实时化为目标发展；三是对于图像融合的质量进行评估的评价标准，最好是能适用于不同的应用目的而共用的评估算法，以相同的标准准确评估不同种融合算法的性能，给多源遥感数据融合的优化策略提供参考。

目前对多尺度、多目标、多来源的数据融合效率还较低，冗余度高，无法充分利用遥感弱小目标对其行为和意图进行分析，因此下一阶段应考虑开展智能解译研究，结合边缘计算构建自动化分布式遥感数据目标处理及解译技术，解决针对遥感图像弱小目标受探测干扰等影响导致错误解译的问题，完成多源数据融合处理行为分析。

5.2　多源遥感数据智能认知

遥感数据可以为各种环境态势感知提供观测信息，以实现各种应用^[51]，目前从各种遥感技术中获得的数据集庞大，因此从大量的遥感数据中获取有效信息就是一个必需的要求，但人工处理遥感数据需要较长的时间，不能满足时效性的需求，而且人工处理相较于人工智能处理还会出现许多问题，因此若想要实现多源遥感数据智能化处理，对多源遥感数据的智能认知是十分重要的。

复杂环境全面态势感知包含了多方面的需求，采用单一数据源的感知是不完全的，而多源遥感数据就涉及到了几何配准精度的问题，追求既能满足配准精度，同时又有足够的配准效率的算法是目前的一个重点方向。此外，从复杂环境的大量数据中提取关键信息，也是智能态势认知的一大困难。因此，对于智能态势认知技术，要针对多尺度目标特征提取、有用信息挖掘、数据态势生成、图像增强和智能认知反馈处理的能力，对多尺度、多目标、多来源的数据进行行为表征和信息挖掘，对数据态势进行关联式分析，完成遥感影像弱小目标态势智能认知反馈能力。

5.3　智能认知大模型

伴随人工智能技术的进步和深度学习技术的发展，对遥感影像的智能解译将逐渐依赖于能够完成交互和编写的“得力助手”智能认知大模型，其能够大幅提高信息系统的研发效率，提升工业智能化的水平，其构建的无人系统能极大节省人工成本，加强指挥效率，同时其评价机制也可以根据收到的反馈来带有一定的“情感色彩”^[52]。

开发智能认知大模型需要拥有足够的用户交互信息，同时在硬件条件上也需要发展芯片以提升算力，这是目前国内掣肘开发智能认知大模型的一个重要问题，需要投入相当多的资源。在解决数据和算力的基础上，基于大规模遥感弱小目标数据智能推理及决策技术，在智能认知的基础上，完成对多尺度、多目标、多来源数据的行为理解，及目标行动预测和推理、决策能力建设，利用历史遥感影像，提取有用知识，通过智能认知大模型发现弱小目标行为内在规律，进行仿真数据推演模型构建。

6　结束语

收起

随着遥感技术的快速发展，遥感信息成为了目前获取地表信息的快速手段。然而，遥感影像中存在大量的弱小目标，其尺寸小、种类多、数量大，难以被以往传统图像处理算法进行识别和定位。因此，研究基于遥感影像的弱小目标智能分割、智能检测及跟踪算法，对遥感影像弱小目标智能解译算法具有重要的意义。本文对近年来国内外关于上述算法进行了传统算法框架与基于深度学习框架的分析。对目前智能解译算法中存在的弱小目标分割、弱小目标检测还有弱小目标跟踪等算法的原理、实现方法及应用效果进行相应的分析，并与传统的解译方法进行了对比。此外，还阐述了遥感影像弱小目标智能解译算法未来在多源遥感数据融合、多源遥感数据智能认知和智能认知大模型方面的研究方向，对实际应用具有重要的意义。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

刘姝妍, 何柳, 陶剑, 等. 面向高分辨率遥感图像的分割模型研究[J]. 网络安全与数据治理, 2023, 42(10): 8-15.

LIU

Shuyan

, HE

Liu

, TAO

Jian

, et al. Research on high-resolution remote sensing image segmentation[J]. Cyber Security and Data Governance, 2023, 42(10): 8-15.

[2]

王伟. 基于深度学习的高分辨率遥感图像分割方法[J].智能计算机与应用, 2023, 13(10): 156-158.

WANG

Wei

. High-resolution remote-sensing image segmentation method based on deep learning[J]. Intelligent Computer and Applications, 2023, 13(10): 156-158.

[3]

杜文昊. 基于深度学习的红外弱小目标检测与跟踪方法研究[D]. 长沙: 中南大学, 2022.

[4]

李梦阳. 天基复杂背景下空间暗弱小目标检测方法研究[D]. 北京: 中国科学院大学, 2020.

[5]

李凡. 复杂背景抑制及弱小目标检测算法研究[D]. 西安: 西安电子科技大学, 2010.

[6]

李雪琦. 复杂背景弱小目标特征分析与识别策略研究[D]. 武汉: 华中科技大学, 2019.

[7]

高新波, 莫梦竟成, 汪海涛, 等. 小目标检测研究进展[J].数据采集与处理, 2021, 36(3): 391-417

GAO

Xinbo

, MO

Mengjingcheng

, WANG

Haitao

, et al. Recent advances in small object detection[J]. Journal of Data Acquisition and Processing, 2021, 36(3): 391-417.

[8]

张素, 安博文, 潘胜达. 基于时空非局部相似性的海上红外弱小目标检查[J]. 光子学报, 2018, 47(11): 253-263.

ZHANG

, AN

Bowen

, PAN

Shengda

. Infrared dim target detection based on temporal-spatial non-local similarty[J]. Acta Photonica Sinica, 2018, 47(11): 253-263.

[9]

徐凤. 图像去噪算法及噪声估计研究[D]. 重庆: 重庆大学, 2020.

[10]

王晔, 孙志宽, 李征. 基于生成对抗网络与噪声分布的图像超分辨率重建方法[J]. 四川大学学报(自然科学版), 2023, 60(3): 45-54.

WANG

, SUN

Zhikuan

, LI

Zheng

. An image super-resolution reconstruction method based on generative adversarial network and noise distribution[J]. Journal of Sichuan University(Natural Science Edition), 2023, 60 (3): 45-54.

[11]

杨晓慧. 高斯白噪声背景下图像去噪方法研究[J]. 长春大学学报, 2009, 19(12): 76-78.

YANG

Xiaohui

. A research on the method of image denoising based on gaussian white noise[J]. Journal of Changchun University, 2009, 19(12): 76-78.

[12]

ZHAO

, SHI

, QI

, et al. Pyramid scene parsing network[J]. Computer Vision and Pattern Recognition, 2017: 6230-6239.

[13]

HOSSAIN

M D

, CHEN

. Segmentation for object-based image analysis (OBIA): A review of algorithms and challenges from remote sensing perspective[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2019, 150(APR): 115-134.

[14]

DING

, GUO

, DING

, et al. Acnet: Strengthening the kernel skeletons for powerful cnn via asymmetric convolution blocks[C]//Proceedings of the IEEE International Conference on Computer Vision, 2019: 1911-1920.

[15]

, ZHANG

, REN

, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016: 770-778.

[16]

WEI

Z W

, DUAN

C Z

, SONG

X H

, et al. AMRNet:Chips augmentation in areial images object detection[EB/OL]. (2020-10-25) [2023-12-30]. https://arxiv.org/pdf/2009.07168.pdf.

[17]

CHEN

C R

, ZHANG

, LV

Q X

, et al. RRNet: A hybrid detector for object detection in drone-captured images[C]// 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW), 2019.

[18]

PENG

H X

, XUE

, SHAO

Y Y

, et al. Semantic segmentation of litchi branches using DeepLabV3+ model[J]. IEEE Access, 2020, 8: 164546-164555.

[19]

GUAN

, KHAN

A A

, SIKDAR

, et al. Fully dense UNet for 2D sparse photoacoustic tomography artifact removal[J]. IEEE Journal of Biomedical and Health Informatics, 2019, 24(2): 568-576.

[20]

TIAN

, HE

, SHEN

, et al. Decoders matter for semantic segmentation: Data-dependent decoding enables flexible feature aggregation[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019: 3126-3135.

[21]

YUAN

, CHEN

, WANG

. Object-contextual representations for semantic segmentation[C]//16th European Conference Computer Vision (ECCV 2020), 2020:173-190.

[22]

田萱, 王亮, 丁琪. 基于深度学习的图像语义分割方法综述[J]. 软件学报, 2019, 30(2): 440-468.

TIAN

Xuan

, WANG

Liang

, DING

. Review of image semantic segmentation based on deep learning[J]. Journal of Software, 2019, 30(2): 440-468.

[23]

, YANG

, TAN

, et al. Methods and datasets on semantic segmentation: A review[J]. Neurocomputing, 2018, 304: 82-103.

[24]

刘佳真. 基于相关滤波和神经网络的弱小目标跟踪算法研究[D]. 乌鲁木齐: 新疆大学, 2021.

[25]

LIANG

, ZHANG

, ZHUO

, et al. Small object detection in unmanned aerial vehicle images using feature fusion and scaling-based single shot detector with spatial context analysis[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30(6): 1758-1770.

[26]

X C

, JI

, XING

Z Q

, et al. Attention and feature fusion SSD for remote sensing object detection[J]. IEEE Transactions on Instrumentation and Measurement, 2021, 70: 5501309.

[27]

包晓敏, 王思琪. 基于深度学习的目标检测算法综述[J]. 传感器与微系统, 2022, 41(4): 5-9.

BAO

Xiaomin

, WANG

Siqi

. Survey of object detection algorithm based on deep learning[J]. Transducer and Microsystem Technologies, 2022, 41(4): 5-9.

[28]

李柯泉, 陈燕, 刘佳晨, 等. 基于深度学习的目标检测算法综述[J]. 计算机工程, 2022, 48(7): 1-12.

Kequan

, CHEN

Yan

, LIU

Jiachen

, et al. Survey of deep learning-based object detection algorithms[J]. Computer Engineering, 2022, 48(7): 1-12.

[29]

许德刚, 王露, 李凡. 深度学习的典型目标检测算法研究综述[J]. 计算机工程与应用, 2021, 57(8): 10-25.

Degang

, WANG

, LI

Fan

. Review of typical object detection algorithms for deep learning[J]. Computer Engineering and Applications, 2021, 57(8): 10-25.

[30]

GIRSHICK

, DONAHUE

, DARRELL

, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition, 2014.

[31]

K M

, ZHANG

X Y

, REN

S Q

, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(9): 1904-1916.

[32]

GIRSHICK

. Fast R-CNN[C]//2015 IEEE Internatio-nal Conference on Computer Vision (ICCV), 2015.

[33]

REN

S Q

, HE

K M

, GIRSHICK

, et al. Faster R-CNN:Towards real-time object detection with region proposal networks[J] IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[34]

LIN

T Y

, Dollár

, GIRSHICK

, et al. Feature pyramid networks for object detection[C]//2017 IEEE Confe-rence on Computer Vision and Pattern Recognition(CVPR), 2017.

[35]

CAI

Z W

, VASCONCELOS

. Cascade R-CNN: Del-ving into high quality object detection[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Reco-gnition, 2018.

[36]

REDMON

, DIVVALA

, GIRSHICK

, et al. You only look once: Unified, real-time object detection[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016.

[37]

闫钧华, 张琨, 施天俊, 等. 融合多层级特征的遥感图像地面弱小目标检测[J]. 仪器仪表学报, 2022, 43(3):221-229.

YAN

Junhua

, ZHANG

Kun

, SHI

Tianjun

, et al. Multi-level feature fusion based dim small ground target dete-ction in remote sensing images[J]. Chinese Journal of Scientific Instrument, 2022, 43(3): 221-229.

[38]

REDMON

, FARHADI

. YOLO9000: Better, faster,stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017.

[39]

REDMON

, FARHADI

. YOLOv3: An incremental improvement[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2018, Eprint ArXiv:

[40]

BOCHKOVSKIY

, WANG

C Y

, LIAO

H Y M

. YOLOv4: Optimal speed and accuracy of object detection[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2020, Eprint ArXiv:

[41]

WANG

C Y

, BOCHKOVSKIY

, LIAO

H Y M

. YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023.

[42]

孟琭, 杨旭. 目标跟踪算法综述[J]. 自动化学报, 2019, 45(7): 1244-1260.

MENG

, YANG

. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260.

[43]

HENRIQUES

J F

, CASEIRO

, MARTINS

, et al. Exploiting the circulant structure of tracking-by-detection with kernels[C]//European Conference on Computer Vision, 2012: 702-715.

[44]

GALOOGAHI

H K

, FAGG

, LUCEY

. Learning back-ground-aware correlation filters for visual tracking[J]. IEEE Computer Society, 2017.

[45]

EXNER

, BRUNS

, KURZ

, et al. Fast and robust CAMShift tracking[C]// 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recog-nition-Workshops. USA: IEEE, 2010: 9-16.

[46]

HENRIQUES

J F

, CASEIRO

, MARTINS

, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596.

[47]

, ZHU

. A scale adaptive kernel correlation filter tracker with feature integration[C]//Computer Vision-ECCV 2014, September 6-12, 2014, Zurich, Switzerland. Chiam: Springer, 2014: 254-265.

[48]

卢湖川, 李佩霞, 王栋. 目标跟踪算法综述[J]. 模式识别与人工智能, 2018, 31(1): 61-76.

Huchuan

, LI

Peixia

, WANG

Dong

. Visual object tracking: A survey[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(1): 61-76.

[49]

张灵凯, 于良. 多源遥感数据融合研究综述[J]. 城市地理, 2017(2): 173.

[50]

杨丽坤, 付翔宇. 多源遥感影像数据融合理论与技术[J]. 北京测绘, 2014(3): 101-104.

YANG

Likun

, FU

Xiangyu

. The theory and techniques for data fusion of multi-sources remote sensing image[J]. Beijing Surveying and Mapping, 2014(3): 101-104.

[51]

邵振峰, 党超亚, 张红萍, 等. 多源遥感数据在战场环境智能态势感知的现状及展望[J]. 中国空间科学技术, 2024, 44(1): 11-22.

SHAO

Zhenfeng

, DANG

Chaoya

, ZHANG

Hongping

,et al. Multisource remote sensing data in battlefield environment intelligent situational awareness current statues and prospects[J]. Chinese Space Science and Techno-logy, 2024, 44(1): 11-22.

[52]

蔡军霞, 徐春学. 我国应尽快推进认知智能大模型自主建设[J]. 中国经贸导刊, 2023(10): 56-58.

2024年第45卷第2期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.12347/j.ycyk.20231201003

接收时间：2023-12-01
首发时间：2026-03-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-12-01
修回日期：2024-02-09

基金

作者信息

北京遥测技术研究所　北京　100076

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/ycyk/CN/10.12347/j.ycyk.20231201003

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

算法名称	算法方法	算法原理	算法特点
AMRNet^[16]	尺度自适应模块	动态调整图像块尺寸平衡目标尺度	需要大量的额外标注数据，增加了数据处理的复杂性
RRNet^[17]	语义分割	采用“复制-粘贴”数据集中已标注实例增加小目标数量	避免背景不匹配和尺度不匹配问题，引入了语义分割先验信息确定带粘贴区域，保证一致性

算法名称

算法方法

算法原理

算法特点

AMRNet^[16]

尺度自适应模块

动态调整图像块尺寸平衡目标尺度

需要大量的额外标注数据，增加了数据处理的复杂性

RRNet^[17]

语义分割

采用“复制-粘贴”数据集中已标注实例
增加小目标数量

避免背景不匹配和尺度不匹配问题，引入了语义分割先验信息确定
带粘贴区域，保证一致性

算法名称	算法方法	算法原理	算法特点
DeeplabV3+^[18]	多尺度上下文信息	基于多尺度上下文信息和低级特征进行语义分割	解决多次下采样导致特征图分辨率降低，影像预测精度。不同尺度的特征图融合，提高分割效果
Dense-Unet^[19]	结合继承学习方法	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能

算法名称

算法方法

算法原理

算法特点

DeeplabV3+^[18]

多尺度上下文信息

基于多尺度上下文信息和低级特
征进行语义分割

解决多次下采样导致特征图分辨率降低，影像预测精度。不同尺度
的特征图融合，提高分割效果

Dense-Unet^[19]

结合继承学习方法

基于Dense-Unet网络及继承学习
改进语义分割

实现高分辨率遥感图像中弱小目标的分割功能

算法名称	算法方法	算法原理	算法特点
FS-SSD^[25]	多尺度检测	将主干网络不同卷积层输出的特征图融合，获得分辨率和丰富语义信息的特征表示	以SSD算法为基础，保留多尺度检测优势，极大提升了SSD的小目标检测能力
AF-SSD^[26]	多层特征融合结构	通过多层特征融合结构以融合较浅层和较深层的特征信息	具有多尺度检测优势，可应对不同大小、形状和长宽比的目标

算法名称

算法方法

算法原理

算法特点

FS-SSD^[25]

多尺度检测

将主干网络不同卷积层输出的特征图融合，获得分
辨率和丰富语义信息的特征表示

以SSD算法为基础，保留多尺度检测优势，极大提升
了SSD的小目标检测能力

AF-SSD^[26]

多层特征融合结构

通过多层特征融合结构以融合较浅层和较深层的特
征信息

具有多尺度检测优势，可应对不同大小、形状和长宽
比的目标

类型	算法名称	传统分割方法	算法原理	算法特点
传统算法	阈值法	图像灰度特征	通过设定阈值，将图像分为两类以达到语义分割的目的	易受光照、阴影等因素影像
边界法	图像边缘分割	通过寻找图像中边缘进行分割，对弱小目标所处在边缘的目标分割效果较好	不适用于内部结构复杂或在边缘模糊的弱小目标
区域法	图像多区域分割	将遥感影像分为多个区域，每个区域内部属性相似，不同区域间属性有差异	需要进行大量的计算时间及计算资源
深度学习	数据扩充	数据扩充及增强	有效处理目标尺度差异大于小目标密集分布的问题，动态调整图像块的尺寸或增加训练数据量，提高模型性能及对小目标的识别能力	需要大量额外标注数据，增加数据处理的难度
空洞卷积	CNN	能够快速自动提取与学习图像中的目标特征，从而提高分割精度，改善目标边缘及小尺度目标物体分割效果	需要对在多层次特征信息找到平和，导致模型过于复杂，难以训练
数据特征融合	特征融合	通过融合不同层次的特征信息，获得分辨率和丰富语义信息的特征表示，提升模型对小目标识别能力	计算资源较大、时间训练较长，模型解释性较差

类型

算法名称

传统分割方法

算法原理

算法特点

传统算法

阈值法

图像灰度特征

通过设定阈值，将图像分为两类以达到语义分割的目的

易受光照、阴影等因素影像

边界法

图像边缘分割

通过寻找图像中边缘进行分割，对弱小目标所处在边缘的目标分割效果较好

不适用于内部结构复杂或在
边缘模糊的弱小目标

区域法

图像多区域分割

将遥感影像分为多个区域，每个区域内部属性相似，不同区域间属性有差异

需要进行大量的计算时间及
计算资源

深度学习

数据扩充

数据扩充及增强

有效处理目标尺度差异大于小目标密集分布的问题，动态调整图像块的尺寸或增加训练数据量，提高模型性能及对小目标的识别能力

需要大量额外标注数据，增加
数据处理的难度

空洞卷积

CNN

能够快速自动提取与学习图像中的目标特征，从而提高分割精度，改善目标边缘及小尺度目标物体分割效果

需要对在多层次特征信息找
到平和，导致模型过于复杂，
难以训练

数据特征融合

特征融合

通过融合不同层次的特征信息，获得分辨率和丰富语义信息的特征表示，提升模型对小目标识别能力

计算资源较大、时间训练较长，模型解释性较差

类型	算法名称	算法方法	算法原理	算法优点	算法缺点
传统检测算法	滑动窗口检测	级联分类器	采用基于Haar-like特征和级联分类器的结构实现快速目标检测	实现简单、检测速度块	对尺度变化、旋转变化和遮挡等情况处理较弱
手工特征提取	分类器	通过手工设计特征描述目标，使用分类器进行分类	对复杂背景和多尺度、多姿态的小目标具有良好的检测效果	特征设计过程繁琐，人力成本高
基于上下文信息方法	上下文信息	通过对弱小目标的上下文信息进行分析，提高检测准确性	利用上下文信息提高检测准确性和鲁棒性	计算复杂度较高
深度学习	RCNN 系列	RCNN	AlexNet	选择性搜索算法、SVM
SPPNet	空间金字塔池化层	避免卷积特征重复计算
Fast RCNN	VGG16	检测速度较慢，但检测速度是RCNN的200倍
Faster RCNN	Region Proposal Network	区域选择网络，提升检测框生成速度
FPN	ResNet-101	1)自底向上连接CNN下采样通 2)自顶向下连接 3)侧向连接，将上采样后的深层特征层和浅层特征层进行融合
Cascade RCNN	ResNet-101	通过IoU阈值训练级联检测器，使得定位精度高
YOLO 系列	YOLOv1	GoogLeNet	one-stage 检测模型
YOLOv2^[38]	Darknet19	提升性能；利用分类数据集
YOLOv3^[39]	Darknet53	进一步提升性能
YOLOv4^[40]	CSPDarknet53	总结技巧，通过实验找到最佳组合
YOLOv5	Focus+CSP	结构灵活应用
YOLOv6	Focus+RepBlock	支持模型训练、推理及多平台部署等应用需求
YOLOv7^[41]	多路卷积模块	实时目标检测器，具有最快的推理速度和检测精度

类型

算法名称

算法方法

算法原理

算法优点

算法缺点

传统
检测
算法

滑动窗口检测

级联分类器

采用基于Haar-like特征和级
联分类器的结构实现快速目
标检测

实现简单、检测速度块

对尺度变化、旋转
变化和遮挡等情
况处理较弱

手工特征提取

分类器

通过手工设计特征描述目标，
使用分类器进行分类

对复杂背景和多尺度、多
姿态的小目标具有良好
的检测效果

特征设计过程繁
琐，人力成本高

基于上下文信息方法

上下文信息

通过对弱小目标的上下文信
息进行分析，提高检测准确性

利用上下文信息提高检
测准确性和鲁棒性

计算复杂度较高

深度
学习

RCNN
系列

RCNN

AlexNet

选择性搜索算法、SVM

SPPNet

空间金字塔池化层

避免卷积特征重复计算

Fast RCNN

VGG16

检测速度较慢，但检测速度是RCNN的200倍

Faster RCNN

Region Proposal Network

区域选择网络，提升检测框生成速度

FPN

ResNet-101

1)自底向上连接CNN下采样通
2)自顶向下连接
3)侧向连接，将上采样后的深层特征层和浅层特征层进行融合

Cascade RCNN

ResNet-101

通过IoU阈值训练级联检测器，使得定位精度高

YOLO
系列

YOLOv1

GoogLeNet

one-stage 检测模型

YOLOv2^[38]

Darknet19

提升性能；利用分类数据集

YOLOv3^[39]

Darknet53

进一步提升性能

YOLOv4^[40]

CSPDarknet53

总结技巧，通过实验找到最佳组合

YOLOv5

Focus+CSP

结构灵活应用

YOLOv6

Focus+RepBlock

支持模型训练、推理及多平台部署等应用需求

YOLOv7^[41]

多路卷积模块

实时目标检测器，具有最快的推理速度和检测精度

算法名称	算法方法	算法原理	算法优点	算法缺点
光流法	基于图像序列中像素点运动方法	计算相邻帧间的光流矢量来跟踪目标的位置和形状	对目标形状及大小变化较小，可处理遮挡问题	在光照变化大的情况下，跟踪精度会受到影响
卡尔曼滤波	概率论	基于Dense-Unet网络及继承学习改进语义分割	实现高分辨率遥感图像中弱小目标的分割功能	需要对系统模型进行准确建模，对实时性要求高
粒子滤波	基于统计方法	通过模拟目标的运动轨迹跟踪目标位置与形状	可处理非线性和非高斯分布问题，使用复杂跟踪场景	需要大量的采样与计算，对粒子滤波的计算复杂度要求较高
均值漂移	基于密度梯度方法	通过寻找样本点的密度梯度跟踪目标位置与形状	可处理遮挡及变形问题，使用实时跟踪应用	对于目标的初始位置和速度等参数敏感，可能导致跟踪失败
孪生网络	对比学习特征表示	通过将目标的图像与周遭环境对比，来学习目标的特征表示，这样就可以处理尺度变化、形变等诸多问题，同时还具有较高的准确性和鲁棒性
基于相关滤波器的方法	用滤波器对目标及背景进行建模	有着简单、快速而又准确的特点，并且可以使用于实时系统
DeepSORT	基于深度学习的多目标跟踪算法	基于目标外观、目标的运动和时空等多方面特征的相似性，将不同视频帧所检测到的目标关联成轨迹，这样就不需要手动选择特征，而是可以通过大量的数据就使模型训练获得足够优秀的特征提取能力
MOT算法	通过检测进行跟踪	从视频帧中提取出其中的一组检测结果，并将其用于引导整个跟踪过程，把相同的ID分配给包含着相同目标的边界框，这样就把任务转化成了分配问题，确保了检测质量的良好
递归神经网络	建模并挖掘对整体跟踪有用的部分	可以解决预测误差累积以及传播导致的跟踪漂移等问题。利用递归结构可以使每个分块的输出值都能受到其他关联分块的影响，以此来避免单个方向的影响，同时还可以置权，使其比仅仅考虑当前位置时的准确度更高。

算法名称

算法方法

算法原理

算法优点

算法缺点

光流法

基于图像序列中像素点运动方法

计算相邻帧间的光流矢量来跟踪目标的位置和形状

对目标形状及大小变化较小，可处理遮挡问题

在光照变化大的情况下，跟踪精度会受到影响

卡尔曼滤波

概率论

基于Dense-Unet网络及继承学习改进语义分割

实现高分辨率遥感图像中弱小目标的分割功能

需要对系统模型进行准确建模，对实时性要求高

粒子滤波

基于统计方法

通过模拟目标的运动轨迹跟踪目标位置与形状

可处理非线性和非高斯分布问题，使用复杂跟踪场景

需要大量的采样与计算，对粒子滤波的计算复杂度要求较高

均值漂移

基于密度梯度方法

通过寻找样本点的密度梯度跟踪目标位置与形状

可处理遮挡及变形问题，使用实时跟踪应用

对于目标的初始位置和速度等参数敏感，可能导致跟踪失败

孪生网络

对比学习特征表示

通过将目标的图像与周遭环境对比，来学习目标的特征表示，这样就可以处理尺度变化、形变等诸多问题，同时还具有较高的准确性和鲁棒性

基于相关滤
波器的方法

用滤波器对目标及
背景进行建模

有着简单、快速而又准确的特点，并且可以使用于实时系统

DeepSORT

基于深度学习的多
目标跟踪算法

基于目标外观、目标的运动和时空等多方面特征的相似性，将不同视频帧所检测到的目标关联成轨迹，这样就不需要手动选择特征，而是可以通过大量的数据就使模型训练获得足够优秀的特征提取能力

MOT算法

通过检测进行跟踪

从视频帧中提取出其中的一组检测结果，并将其用于引导整个跟踪过程，把相同的ID分配给包含着相同目标的边界框，这样就把任务转化成了分配问题，确保了检测质量的良好

递归神经网
络

建模并挖掘对整体
跟踪有用的部分

可以解决预测误差累积以及传播导致的跟踪漂移等问题。利用递归结构可以使每个分块的输出值都能受到其他关联分块的影响，以此来避免单个方向的影响，同时还可以置权，使其比仅仅考虑当前位置时的准确度更高。