科学技术与工程

分类	基本模型	名称	发表年份	关键技术和特点	优缺点	云图类别	评价指标	数值/ %
基于神经网络的云图分割方法	CNN	SP-CNN^[25]	2017	均值偏移方法	优:需较少图像像素数量和计算时间; 缺:可改进全连接层进一步缩短计算成本	雷达云图	IoU	80.132±0.512
基于深度学习的多级云检测方法^[26]	2017	SLIC算法双分支CNN结构	优:准确检测云的边界和区分薄、厚云; 缺:需更多处理步骤和资源	卫星云图	R	94.54
级联CNN 架构^[28]	2021	“粗糙—精细”架构	优:可与其他模型进行结合使用; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	无	无
Seg Cloud^[29]	2021	将VGG16的全连接层替换成解码器	优:端到端的分割; 缺:识别极薄云困难	地基云图	Average_ACC	96.24
Cloud DeepLabV3+^[30]	2023	HSP卷积窗口 SE结构	优:降低因光照条件等因素对分割的影响; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	94.3
FCN	FCN-CNN^[33]	2018	用FCN-32s和FCN-8s实现云图预分割	优:云图预分割提升了分割的准确率; 缺:暂未提及	雷达云图	IoU	81.235±0.506
AM-CDN^[34]	2021	空洞卷积注意力机制	优:实时检测; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	mIoU	79.43
GAN	增强数据集^[39]	2021	GAN	优:增强了训练集的有效性; 缺:生成的图像可能与原始图像不一致	卫星云图	ACC	86.2
U-Net	CloudU-Net^[45]	2021	Fully Connected CRF层	优:适用于夜间和日间云图分割; 缺:模型复杂度较高	地基云图	ACC	96.9
CloudU-Netv2^[46]	2021	DAM	优:更关注位置特征和通道特征; 缺:模型复杂度较高	地基云图	ACC	96
CDU Net^[47]	2021	HFE MSC SPSA	优:可对复杂地面对象中的薄云进行分割; 缺:可减少计算开销	卫星云图	mIoU	87.36
U-HR Net^[48]	2021	融合高、低分辨率卷积层 JPU方法	优:适用于夜间和日间云图分割; 缺:云雪共存等复杂情况还需进一步改进	卫星云图	mIoU	94.03
改进型 U-Net^[50]	2022	高效通道注意力机制	优:参数量少,对边缘细节等部分处理较好; 缺:暂未提及	卫星云图	mIoU	99.16
基于神经网络的云图分割方法	U-Net	SEUNet++^[51]	2022	深度监督算法轻量级注意力机制	优:能检测出薄云层; 缺:暂未提及	卫星云图	IoU	91.8
CloudY-Net^[52]	2023	多头自注意力机制 C-MoE模块	优:可同时进行云图像的分割与分类; 缺:准确性需提高,网络结构需简化	地基云图	ACC	88.58
使用VGG16改进的U-Net^[53]	2023	VGG16替换U-Net 编码器	优:可对碎云进行较精细的分割; 缺:区分冰、雪等类似云的部分时准确率低。	卫星云图	IoU	89.8
Seg Net	CloudSegNet^[55]	2019	概率掩模阈值处理	优:训练速度较快,不需要耗时的预处理; 缺:暂未提及	卫星云图	无	无
P_Segnet NP_Segnet^[56]	2019	平行结构	优:分割准确性提升; 缺:输入大小需确定,仍存在云、雪误判	卫星云图	ACC	78.9 84.6
多尺度特征融合的SegNet^[57]	2022	多尺度特征融合	优:边缘分割效果好; 缺:参数量较大	地基云图	mIoU	91.24
GCR SegNet^[58]	2023	识别网络分割网络	优:多任务学习; 缺:可探究一张地基云图存在多种云的情况	地基云图	ACC	94.28
Res Net	CDnet^[60]	2019	特征金字塔模块边界优化模块	优:在云、雪共存的情况下有着良好分割; 缺:薄云分割需改进	卫星云图	mIoU	91.7
MFG Net^[61]	2020	SPPA模型 LFSA模型	优:能融合云图的深层与浅层信息; 缺:训练样本较少,小目标识别存在困难	卫星云图	IoU	90
MAFA Net^[62]	2023	MSPA模型 DMFA模型 BFF、BRB模块	优:对云、云影和边界的分割更准确; 缺:模型参数量较大,较为复杂	卫星云图	mIoU	87.57
CRS Net^[63]	2023	MGA模块 SPCA模块 HFA模块	优:对云图边缘和小尺寸的云检测效果较好; 缺:模型复杂度较高	卫星云图	mIoU	87.52
Trans former	TransCloudSeg^[65]	2022	HFM模块	优:更关注全局上下文信息,细节处理较好; 缺:算法复杂度高,计算时间长,参数量多	地基云图	ACC	92.28
MCA Net^[66]	2023	卷积分支注意力分支	优:准确分割云和雪; 缺:模型参数量较多	卫星云图	mIoU	92.736
基于迁移学习的云图分割方法	Res Net	基于深度卷积U-Net架构的迁移模型^[70]	2019	迁移学习 ResNet	优:方法易于实现,训练迭代次数较少; 缺:暂未提及	卫星云图	P	97.44
FCN	文献[72]的三种迁移方法	2020	讨论了数据集和验证集对同一迁移模型分割效果的影响	无	卫星云图	无	无
Deep LabV3+	TL-DeepLabV3+^[14]	2022	迁移学习 DeepLab V3+	优:提升分割准确性; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	91.05
基于轻量级模型的云图分割方法	Res Net	LCD Net^[79]	2022	瓶颈残差块 GCE模块	优:参数量少,降低干扰对分割准确率影响; 缺:暂未提及	卫星云图	mIoU	89.59
Mobile Net	LGC SegNet^[80]	2022	深度可分离卷积空洞卷积	优:参数量少,且避免了边界损失; 缺:可优化实现云图分割和分类的联合检测	地基云图	mIoU	86

分类	基本模型	名称	发表年份	关键技术和特点	优缺点	云图类别	评价指标	数值/ %
基于神经网络的云图分割方法	CNN	SP-CNN^[25]	2017	均值偏移方法	优:需较少图像像素数量和计算时间; 缺:可改进全连接层进一步缩短计算成本	雷达云图	IoU	80.132±0.512
基于深度学习的多级云检测方法^[26]	2017	SLIC算法双分支CNN结构	优:准确检测云的边界和区分薄、厚云; 缺:需更多处理步骤和资源	卫星云图	R	94.54
级联CNN 架构^[28]	2021	“粗糙—精细”架构	优:可与其他模型进行结合使用; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	无	无
Seg Cloud^[29]	2021	将VGG16的全连接层替换成解码器	优:端到端的分割; 缺:识别极薄云困难	地基云图	Average_ACC	96.24
Cloud DeepLabV3+^[30]	2023	HSP卷积窗口 SE结构	优:降低因光照条件等因素对分割的影响; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	94.3
FCN	FCN-CNN^[33]	2018	用FCN-32s和FCN-8s实现云图预分割	优:云图预分割提升了分割的准确率; 缺:暂未提及	雷达云图	IoU	81.235±0.506
AM-CDN^[34]	2021	空洞卷积注意力机制	优:实时检测; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	mIoU	79.43
GAN	增强数据集^[39]	2021	GAN	优:增强了训练集的有效性; 缺:生成的图像可能与原始图像不一致	卫星云图	ACC	86.2
U-Net	CloudU-Net^[45]	2021	Fully Connected CRF层	优:适用于夜间和日间云图分割; 缺:模型复杂度较高	地基云图	ACC	96.9
CloudU-Netv2^[46]	2021	DAM	优:更关注位置特征和通道特征; 缺:模型复杂度较高	地基云图	ACC	96
CDU Net^[47]	2021	HFE MSC SPSA	优:可对复杂地面对象中的薄云进行分割; 缺:可减少计算开销	卫星云图	mIoU	87.36
U-HR Net^[48]	2021	融合高、低分辨率卷积层 JPU方法	优:适用于夜间和日间云图分割; 缺:云雪共存等复杂情况还需进一步改进	卫星云图	mIoU	94.03
改进型 U-Net^[50]	2022	高效通道注意力机制	优:参数量少,对边缘细节等部分处理较好; 缺:暂未提及	卫星云图	mIoU	99.16
基于神经网络的云图分割方法	U-Net	SEUNet++^[51]	2022	深度监督算法轻量级注意力机制	优:能检测出薄云层; 缺:暂未提及	卫星云图	IoU	91.8
CloudY-Net^[52]	2023	多头自注意力机制 C-MoE模块	优:可同时进行云图像的分割与分类; 缺:准确性需提高,网络结构需简化	地基云图	ACC	88.58
使用VGG16改进的U-Net^[53]	2023	VGG16替换U-Net 编码器	优:可对碎云进行较精细的分割; 缺:区分冰、雪等类似云的部分时准确率低。	卫星云图	IoU	89.8
Seg Net	CloudSegNet^[55]	2019	概率掩模阈值处理	优:训练速度较快,不需要耗时的预处理; 缺:暂未提及	卫星云图	无	无
P_Segnet NP_Segnet^[56]	2019	平行结构	优:分割准确性提升; 缺:输入大小需确定,仍存在云、雪误判	卫星云图	ACC	78.9 84.6
多尺度特征融合的SegNet^[57]	2022	多尺度特征融合	优:边缘分割效果好; 缺:参数量较大	地基云图	mIoU	91.24
GCR SegNet^[58]	2023	识别网络分割网络	优:多任务学习; 缺:可探究一张地基云图存在多种云的情况	地基云图	ACC	94.28
Res Net	CDnet^[60]	2019	特征金字塔模块边界优化模块	优:在云、雪共存的情况下有着良好分割; 缺:薄云分割需改进	卫星云图	mIoU	91.7
MFG Net^[61]	2020	SPPA模型 LFSA模型	优:能融合云图的深层与浅层信息; 缺:训练样本较少,小目标识别存在困难	卫星云图	IoU	90
MAFA Net^[62]	2023	MSPA模型 DMFA模型 BFF、BRB模块	优:对云、云影和边界的分割更准确; 缺:模型参数量较大,较为复杂	卫星云图	mIoU	87.57
CRS Net^[63]	2023	MGA模块 SPCA模块 HFA模块	优:对云图边缘和小尺寸的云检测效果较好; 缺:模型复杂度较高	卫星云图	mIoU	87.52
Trans former	TransCloudSeg^[65]	2022	HFM模块	优:更关注全局上下文信息,细节处理较好; 缺:算法复杂度高,计算时间长,参数量多	地基云图	ACC	92.28
MCA Net^[66]	2023	卷积分支注意力分支	优:准确分割云和雪; 缺:模型参数量较多	卫星云图	mIoU	92.736
基于迁移学习的云图分割方法	Res Net	基于深度卷积U-Net架构的迁移模型^[70]	2019	迁移学习 ResNet	优:方法易于实现,训练迭代次数较少; 缺:暂未提及	卫星云图	P	97.44
FCN	文献[72]的三种迁移方法	2020	讨论了数据集和验证集对同一迁移模型分割效果的影响	无	卫星云图	无	无
Deep LabV3+	TL-DeepLabV3+^[14]	2022	迁移学习 DeepLab V3+	优:提升分割准确性; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	91.05
基于轻量级模型的云图分割方法	Res Net	LCD Net^[79]	2022	瓶颈残差块 GCE模块	优:参数量少,降低干扰对分割准确率影响; 缺:暂未提及	卫星云图	mIoU	89.59
Mobile Net	LGC SegNet^[80]	2022	深度可分离卷积空洞卷积	优:参数量少,且避免了边界损失; 缺:可优化实现云图分割和分类的联合检测	地基云图	mIoU	86

解决问题	神经网络	迁移学习	轻量级模型
提升计算速度	空洞卷积、残差结构、注意力机制、预分割	无	无
减少参数量	空洞卷积、残差结构	无	瓶颈设计、空洞卷积
特征融合	注意力机制、金字塔模块、跳跃连接	跳跃连接	注意力模块
边界、细节分割	残差结构、注意力机制	残差结构	通道拼接

解决问题	神经网络	迁移学习	轻量级模型
提升计算速度	空洞卷积、残差结构、注意力机制、预分割	无	无
减少参数量	空洞卷积、残差结构	无	瓶颈设计、空洞卷积
特征融合	注意力机制、金字塔模块、跳跃连接	跳跃连接	注意力模块
边界、细节分割	残差结构、注意力机制	残差结构	通道拼接

基于机器学习的云图分割综述

PDF下载

车蕾 , 张洪瑞 ^*

科学技术与工程 | 综述·自动化技术、计算机技术 2025,25(6): 2193-2206

收起

科学技术与工程 | 综述·自动化技术、计算机技术 2025, 25(6): 2193-2206

基于机器学习的云图分割综述

全屏

车蕾, 张洪瑞^*

作者信息

北京信息科技大学管理科学与工程学院, 北京 102206

车蕾(1979—),女,汉族,河南洛阳人,博士,副教授,硕士研究生导师。研究方向:计算机视觉、自然语言处理。E-mail:chelei@bistu.edu.cn。

通讯作者:

^* 张洪瑞(2001—),男,汉族,吉林松原人,硕士研究生。研究方向:计算机视觉、多模态处理。E-mail:1036688481@qq.com。

Review of Cloud Image Segmentation Based on Machine Learning

Lei CHE, Hong-rui ZHANG^*

Affiliations

School of Management Science and Engineering, Beijing Information Science & Technology University, Beijing 102206, China

出版时间: 2025-02-28 doi: 10.12404/j.issn.1671-1815.2401760

文章导航

摘要

收起

云的变化复杂多样,在天气预测、灾难预警中发挥着重大作用,影响着人们的日常生活。对云的观测主要通过雷达、遥感卫星和全天空成像仪,记录的云图分为雷达云图、卫星云图和地基云图,三者都是云观测中不可或缺的部分。随着机器学习在多领域的发展,逐渐被运用到云图分割中去并取得了很大的进步。通过广泛调研相关领域的文献和成果,将机器学习的云图分割分为基于神经网络的云图分割方法、基于迁移学习的云图分割方法和基于轻量级模型的云图分割方法这3种类型,对每种类型中近几年提出的方法进行了对比,并进一步总结了云图分割中面对不同问题的改进方法,给出了几个改进方案供参考。

关键词

机器学习 / 云图分割 / 神经网络 / 迁移学习 / 轻量级模型

Abstract

收起

The changes in clouds are complex and diverse, playing a significant role in weather forecast and disaster warning, and affecting our daily lives. The observation of clouds is mainly carried out through radar, remote sensing satellites, and all-sky imagers. The recorded cloud images are divided into radar cloud images, satellite cloud images, and ground-based cloud images, all of which are indispensable parts of cloud observation. With the development of machine learning in multiple fields, it has gradually been applied to cloud segmentation and has made great progress. Through extensive research on literature and achievements in related fields, machine learning cloud segmentation was divided into three types: cloud segmentation methods based on neural networks, cloud segmentation methods based on transfer learning, and cloud segmentation methods based on lightweight models. The methods proposed in recent years for each type were compared, and improvement methods for different problems in cloud segmentation were further summarized. Several improvement schemes were provided for reference.

Key words

machine learning / cloud image segmentation / neural network / transfer learning / lightweight model

引用本文

车蕾, 张洪瑞. 基于机器学习的云图分割综述. 科学技术与工程, 2025 , 25 (6) : 2193 -2206 . DOI: 10.12404/j.issn.1671-1815.2401760

Lei CHE, Hong-rui ZHANG. Review of Cloud Image Segmentation Based on Machine Learning[J]. Science Technology and Engineering, 2025 , 25 (6) : 2193 -2206 . DOI: 10.12404/j.issn.1671-1815.2401760

正文

收起

云是一种由液态水或冰或两者结合的微小颗粒组成的水凝物,地球表面大约60%都被云所覆盖^[1]。云的形状易受改变,且变化复杂多样,影响着降水、日照、气温、雷暴等气候条件^[2],在天气预测、灾难预警中发挥着重大作用^[3]。云在一定程度上也影响着生活中太阳能发电的效率^[4]、航空航海的安全^[5]、天文台的选址^[6]以及气候变化分析^[7]等。所以,探究有关云的信息是十分重要的。

随着各种观测设备的发明与进步,对于云的观测也由人工观测逐步转变为自动观测。自动观测主要采用各种设备对云图进行记录,主要通过雷达^[8]、遥感卫星^[9]和全天空成像仪^[10]进行观测,记录的图像分别称为雷达云图、卫星(遥感)云图和地基云图。雷达云图记录了云的变化趋势,目前暂无公开的云图数据集;卫星云图覆盖范围广、稳定性好、获取的信息量多,但难以关注云层底部的信息,常见的卫星云图数据集有Landsat卫星数据^[11]、MODIS数据集^[12]等;地基云图主要是对卫星云图缺陷的弥补,主要反映云底部的信息和变化情况,地基云图数据集有GDNCI数据集^[13]、GBCSS数据集等^[14]。所以,对雷达云图、卫星云图和地基云图的研究都是云观测中不可或缺的部分。

同时,随着计算机领域的急速发展,越来越多的计算机技术被应用在生物^[15]、医学^[16]、交通^[17]和天文^[18]等领域,云观测技术也深受计算机技术的影响。人工观测需要大量的观测人员,观测结果容易受到观测人员的视力、状态和经验等主观因素的影响。而使用机器学习自动分割则很好地杜绝了这类问题,可以精准、快速、高效地分割云图。因此,机器学习在云图分割领域受到了大量相关学者的关注。

本文研究重点关注机器学习相关领域的网络、算法或模型在雷达云图、卫星云图和地基云图分割上的应用,包括神经网络、迁移学习和轻量级模型。同时,对每种类型中近几年提出的方法进行对比,并总结云图分割中面对不同问题的改进方法,给出几个改进方案供参考。

1 基于神经网络的云图分割方法

收起

神经网络最早(neural network,NN)由Mcculloch等^[19]于1943年提出,其随着近一个世纪的发展,变得越来越高效、准确、可拓展,一度成为计算机视觉领域的热点,越来越多的神经网络模型也被应用于云图分割中去。

1.1 CNN

卷积神经网络(convolutional neural network,CNN)的概念最早由Lecun等^[20]于1998年提出,是一种具有深度结构的前馈神经网络(feedforward neural networks),主要应用于计算机视觉、自然语言处理等领域,包括输入层、卷积层、激活层、池化层、全连接层和输出层,CNN的主要优点是可以自动进行特征提取,具有较低的复杂度。目前,市面上已有一些基于CNN模型的变型,如AlexNet^[21]、VGG^[22]、GoogLeNet^[23]和DeepLab^[24]等。

Wu等^[25]提出了一种基于超像素分析的SP-CNN云图分割算法。SP-CNN算法在CNN的基础上使用均值偏移(Mean-shift)分割来减少图像像素的数量,且模型比较精简,减少了计算负担,保留了云图边界的显著特征。此方法更适用于移动终端和嵌入式设备,具有实时处理能力。

Xie等^[26]提出了一种基于深度学习的多级云检测方法,用于检测分割遥感图像中薄云、厚云和非云区域,有着适应各种地表类型的能力。该方法在预处理阶段使用SLIC算法^[27]将具有相似颜色和亮度特征的像素组成超像素图像块,降低了后续处理图像的复杂性;此外,该方法使用了双分支CNN结构,两个分支虽然具有相同的结构,但可以提取多尺度特征从而区分出薄云、厚云和非云区域。

Luotamo等^[28]探索了一种由两个级联的CNN模型组件构成的架构,用于对遥感图像中的云进行分割,如图1所示。其中,第一个CNN模型关注整体云图的粗粒度特征,会先将云的大致轮廓进行分割,并将图片截取成固定大小,对每一部分进行“是云、非云、边界云”的判别;第二个CNN模型关注“边界云”图像的细粒度特征,对该部分图像进行像素级别的分类。该架构的“粗糙—精细”架构能够比单个CNN结构获得更多的全局和局部信息,且可与其他模型进行结合。该方法提高了大空间范围中云图分割的准确率,降低了对大型图像的计算需求。

Xie等^[29]对VGG-16模型进行了优化,提出了一种名为SegCloud的深度卷积网络模型,如图2所示。SegCloud通过将原始VGG-16模型的全连接层替换成解码器网络,使其称为具有对称的编码-解码结构,即能关注浅层分割的全局特征,又能关注深层分割的局部特征,实现端到端的分割。实验表明,SegCloud在识别接近太阳的区域具有优势,且能够准确地计算出云在天空中的覆盖率。

Li等^[30]提出了一种轻量级地基云图分割算法CloudDeepLabV3+。该方法使用DeepLabV3+作为主干网络,在卷积层上结合EficientNetV2^[31]轻量级网络来提升模型计算速度。CloudDeepLabV3+方法在特征提取上抛弃了传统的方形池化窗口(窗口大小为H×H或W×W),而是选用混合带状池化(hybrid strip pooling,HSP)窗口(窗口大小为H×1或1×W),以此来提升对局部细节的关注能力,如图3所示。同时,CloudDeepLabV3+在特征融合上使用挤压-激励(squeeze-and-excitation,SE)结构,更好地融合深层和浅层的不同特征。CloudDeepLabV3+的提出使得轻量级云图分割成为可能,也提升了地基云图分割的高效性和准确性。

1.2 FCN

全卷积网络(fully convolutional network,FCN)最早是由Long等^[32]提出的,用于对图像进行像素级别的分类,解决了语义级别的图像分割问题。FCN将CNN最后的全连接层替换成了卷积层,其网络结构主要分为全卷积和反卷积两个部分,FCN的主要优点是可以输入任意尺寸的彩色图像,输出与输入的尺寸相同。目前,FCN按照反卷积次数和步长主要分为3种:FCN-32s、FCN-16s、FCN-8s。

毋立芳等^[33]提出了一种基于超像素分析的云图分割方法,命名为FCN-CNN方法。该方法首先对云图中的像素点进行聚类,同时将云图分别输入FCN-32s和FCN-8s网络中进行预分割,经过FCN-32s粗分割输出的结果为“非云”的部分较为准确,经过FCN-8s细分割输出的结果为“云”的部分较为准确,最后通过CNN网络对预分割后的结果进行分类,从而优化分割。该方法能满足云图分割的实时性需求,能有效地应用在气象预测上。

Li等^[34]提出了一种基于红外遥感图像的实时云检测方法,称为AM-CDN,如图4所示。AM-CDN增加了FCN中隐藏层的数量,添加了残差连接来消除网络退化,并使用空洞卷积和注意力机制(attention mechanism,AM)来扩大感受野,以此来突出关键特征。实验表明AM-CDN降低了FCN计算的复杂度,并提升了准确性。该方法所需内存较小,便于移植到硬件平台上。

1.3 GAN

生成对抗网络(generative adversarial networks,GAN)最早是由Goodfellow等^[35]于2014年提出,是一种无监督深度学习模型。GAN通过结构中的两个部分:生成器(generator,G)和判别器(discriminator,D)的互相博弈学习来产生较好的输出。GAN能够更好地建模数据分布,理论上可以训练任何一种生成器网络,但在训练过程中容易出现模型难以收敛或缺失退化等问题。目前,GAN主要应用在数据集生成^[36]、图像分割^[37]和图像修复^[38]等领域。

Jain等^[39]使用GAN来扩充、增强云图分割任务的数据,降低了获取大规模标记数据集的困难性,提高了该组数据运用在分割模型上准确性。

1.4 U-Net

U-Net最早由Ronneberger等^[40]提出,主要由编码器和解码器两部分组成,最初被应用于医学图像分割,后被广泛应用在图像分割的各个领域。U-Net主要引入了跳跃连接(skip connections)结构,将编码器部分特征图与解码器部分特征图进行跳跃连接,从而保留了更多的上下文信息,有助于提高分割结果的准确性,U-Net结构如图5所示。目前,市面上已有一些基于U-Net模型的变型,如3D-Unet^[41]、Attention U-Net^[42]、Y-Net^[43]、U-Net++^[44]等。

Shi等^[45]提出了一种名为CloudU-Net的深度卷积神经网络架构,可用于分割日间和夜间云图。CloudU-Net使用空洞卷积来增加感受野,在训练中加入批量归一化(batch normalization,BN)层来加快网络的训练速度和防止过拟合;另外,CloudU-Net将输出层与一个全连接条件随机场(fully connected conditional random field,fully connected,CRF)层相结合,用于关注云图中每一个像素与其他像素之间的关系,实现云图的精细分割,如式(1)~式(3)所示。该方法可同时应用于白天和夜间的云图分割任务。

(1)

$E\left(x\right)=\sum _{m=1}^{H\times W}{\varphi }_{m}\left({x}_{m}\right)+\sum _{m,n=1}^{H\times W}{\varphi }_{mn}({x}_{m},{x}_{n})$

(2)

${\varphi }_{m}\left({x}_{m}\right)=-lnP\left({x}_{m}\right)$

(3)

$\begin{array}{l}{\varphi }_{mn}({x}_{m},{x}_{n})=\lambda ({x}_{m},{x}_{n})\left|{w}^{\left(1\right)}exp\right(-\frac{|{p}_{m}-{p}_{n}{|}^{2}}{2{\sigma }_{\alpha }^{2}}-\frac{|{C}_{m}-{C}_{n}{|}^{2}}{2{\sigma }_{\beta }^{2}})+\\ {w}^{\left(2\right)}exp(-\frac{|{p}_{m}-{p}_{n}{|}^{2}}{2{\sigma }_{\gamma }^{2}})|\end{array}$

式中:x为云图像素的标签值;H×M为像素大小;φ_m(x_m)为一元势;φ_mn(x_m,x_n)为二元势,二元势由两个高斯核组成;P为输出像素m的预测值;p为云图的像素位置;C为云图的像素值;当${x}_{m}\ne {x}_{n}$时,λ(x_m,x_n)=1;当x_m=x_n时,λ(x_m,x_n)=0;w⁽¹⁾和w⁽²⁾为通过训练过程学习得到的权重参数,用于平衡不同高斯核的贡献;σ_α、σ_β、σ_γ为高斯核的尺度。

基于CloudU-Net,Shi等^[46]对其进行了改进,提出了CloudU-Netv2模型。CloudU-Netv2是一种端到端的模型结构,由编码器、双注意力模块(dual attention modules,DAM)和解码器组成,并将CloudU-Net中的上采样替换为双线性上采样,用于提高特征图的空间分辨率。DAM由位置注意力模块(position attention module,PAM)和通道注意力模块(channel attention module,CAM)组成:PAM在每个位置上对所有位置的特征进行加权求和,用于捕捉位置的上下文信息,如图6(a)所示;CAM在所有通道之间融合相关特征,强调特征之间的相互依赖性,如图6(b)所示。CloudU-Netv2模型对CloudU-Net模型进行了优化,提高了在白天和黑夜地面云图分割的准确性。

Hu等^[47]提出一种名为CDUNet的模型,用于光学遥感卫星图像中的云图检测。CDUNet使用了高频特征提取器(high-frequency feature extractor,HFE)、多尺度卷积(multiscale convolution,MSC)和空间先验自注意力(spatial prior self-attention,SPSA)等。网络中深层往往比浅层包含的信息量更少,HFE首先将网络中深层的特征图放大到与浅层特征图相同的尺寸,然后浅层特征图与其相减得到高频特征图,再使用加法操作与浅层特征图相加,用于优化云的边界,如图7(b)所示;MSC用于减少HFE操作后产生的噪声,进一步提取特征图的特征,如图7(a)所示;SPSA使用向量点乘的方法建立像素之间的空间位置信息,用于区分云和非云部分,如图7(c)所示。CDUNet模型在复杂的云覆盖场景中表现良好,能够更好地分割薄云。

Tao等^[48]将高分辨率网络^[49](high resolution network,HRNet)与U-Net相结合,提出了一种名为U-HRNet的网络架构用于地球同步卫星图像中的云图检测。U-HRNet将高分辨率卷积层和低分辨率卷积层进行特征融合,来生成特征更为明显的高分辨率特征图;使用联合金字塔上采样方法(joint pyramid up-sampling,JPU)进行多尺度特征融合,避免在恢复特征图时产生不正确的信息,如图8所示。实验表明,U-HRNet在风云四号卫星上表现良好,能够检测除图像上只占据少数像素的云,且该模型可应用在白天、夜晚的云图分割上。

崔志强等^[50]提出了一种改进型U-Net的遥感云图分割方法。该模型在U-Net模型的解码部分加入了高效通道注意力机制,保证了图像特征信息的最大化保留,并使用GeLU替换ReLU激活函数,解决了神经元死亡的问题。该模型具有较少的参数量,泛化性能较好。

Buttar等^[51]提出了一种名为SEUNet++的模型,用于对卫星云图进行分割。SEUNet++在原有U-Net的跳跃连接结构中增加了卷积层和深度监督算法,增强了编码器和解码器之间的联系;并在解码器中增添了轻量级注意力机制,以帮助模型专注于最相关的特征提取。SEUNet++算法在Landset 8多光谱数据集95-Cloud上具有良好的表现,可以有效地用于云的分割,且此方法具有迁移学习的能力。

Hu等^[52]提出了一种基于Y-Net的地基云图分割的新架构,名为CloudY-Net。CloudY-Net加入了多头自注意力机制(multi-head self-attention),将编码器中每一层输出的特征向量进行串联,形成一个包含所有提取到的特征的串联特征矩阵,产生了更为详细的特征图;并引入了一种名为C-MoE(cloud mixture-of-experts)的模块,用于学习串联特征矩阵中不同层次的特征信息,实现了特征权重的自主学习。该方法不仅可以对云图进行分割,还可以对云图进行分类,在气象研究中发挥着重要作用。

Yin等^[53]提出了一种改进的U-Net方法用于遥感图像中云的分割。该方法使用VGG16网络替换U-Net的编码部分,用于深化模型特征提取能力,并使用跳跃连接将每层获取的特征图进行融合。该方法减弱了背景对云检测的影响,降低了计算开销。

1.5 SegNet

SegNet由Badrinarayanan等^[54]提出,SegNet基于编码-解码结构,通过修改VGG-16网络得到的语义分割网络。SegNet最大的改变是提出了反池化(UnPooling)结构,反池化将编码器中使用的最大值池化索引(max-pooling index)应用到解码器上,提高了分割任务对图像边界的识别效果,如图9所示。

Dev等^[55]提出了一种名为CloudSegNet的云图分割方法。CloudSegNet的编码器由3个卷积层和3个最大池化层构成,解码器由4个反卷积层和3个上采样层组成,最后的输出为一个概率掩模(probability mask),即为每一个像素分配一个概率值,表示其属于云的可能性,然后使用阈值处理将概率掩模转换为二进制图像。该方法可同时应用在分割白天和夜晚的云图中,且具有轻量级架构。

Lu等^[56]修改了SegNet的架构,提出了两种新的遥感云图分割方法P_Segnet和NP_Segnet。两种方法均增加了平行结构,即将多种不同的卷积核并行应用在神经网络的某些层中。P_Segnet在编码器中加入了平行结构,NP_Segnet在编码器和解码器中都加入了平行结构,如图10所示。实验表明,平行结构对于云图分割的准确性起到了重要作用,但增加了将雪误识别为云的概率。

吉茹等^[57]在SegNet的基础上,提出了一种基于多尺度特征融合的改进型云图分割方法。该方法将编码和解码部分中每层输出的特征进行融合, 并加入高效通道注意力机制,同时使用自注意力机制对输出结果进行优化。此方法加强了对边缘信息的提取,提高了云图分割的准确率,改善了SegNet网络特征提取不充分、误检等问题,泛化能力较好。

张雪等^[58]提出了一种名为GCRSegNet的多任务学习的地基云图识别与分割联合网络模型。GCRSegNet通过CNN提取共享特征,再将其分为识别网络和分割网络的特定特征进行分割和识别。分割网络使用上采样,通过学习共享特征实现地基云图的分割;识别网络使用卷积和池化,通过结合共享特征和分割特征实现地基云图的识别,实现了地基云图识别与分割的联合检测。该方法可用于地基云图的多任务学习,提升了网络鲁棒性。

1.6 ResNet

ResNet是由He等^[59]提出,可具有超过100层的网络结构。ResNet最大的贡献是提出了用于解决网络退化问题的残差块(residual block)和瓶颈残差块(residual bottleneck),分别如图11(a)和图11(b)所示。并使用批量归一化(batch normalization)加速训练,解决了梯度消失和梯度爆炸的问题。目前市面上常见的ResNet网络包括ResNet-18、ResNet-34、ResNet-50、ResNet-101和ResNet-152,其中50层以上的称为深度残差网络,使用瓶颈残差块。

Yang等^[60]以ResNet-50为主干,提出了一种名为CDnet的遥感云图分割网络。该模型具有编码-解码结构,使用特征金字塔模块(feature pyramid module,FPM)中平行的卷积层提取多尺度的上下文信息、边界细化(boundary refinement,BR)模块优化云图边界。实验表明,该方法在Landsat-8数据集上可靠的分割出了不同图像中的云图,性能良好,且可在缩略图中对云图进行分割提取。

Yu等^[61]提出了一种双分支CNN架构的大规模遥感云图分割算法,称为MFGNet。MFGNet以ResNet为主干网络进行特征提取,将特征提取部分分为两个分支:一个分支在ResNet模型的上层输出引入了空间金字塔池化注意力(spatial pyramid pooling attention,SPPA)模型来扩大模型的感受野并提取多尺度特征,如图12(a)所示;另外一个分支在ResNet的下层输出引入了空间注意力(low-level feature spatial attention,LFSA)模型,用于提取卫星图像中的浅层和深层信息,如图12(b)所示。最后MFGNet使用跳跃连接来融合两个分支中不同尺度和深度的特征,以此生成分割结果。该算法减少了遥感云图分割中信息的损失和特征捕捉方面出现的问题,更好地融合了光谱和空间中的特征,可应用于大规模、自动化的云分割任务中。

Chen等^[62]以ResNet-18为主干,提出了一种名为MAFANet的遥感云图分割网络。MAFANet使用多尺度条带池化注意力(multiscale strip pooling attention,MSPA)模块来提高网络捕捉分散的小尺度云的能力,设计深度多头前馈式转移注意力(deep multi-head feedforward transfer attention,DMFA)模块提高对薄云的检测能力,使用双边特征融合(bilateral feature fusion,BFF)模块和边界细化增强(boundary refinement boosting,BRB)模块提高了网络的抗干扰能力和边缘细节分割的准确性。该网络提出并融合了多种模块,能够应用在多种复杂云覆盖场景。

Zhang等^[63]以ResNet-18为主干,提出了一种用于检测遥感云图的模型,名为CRSNet。CRSNet在不同层级提取特征,并采用多尺度全局注意力(multi-scale global attention,MGA)模块来加强通道和空间信息;同时,采用条形金字塔通道注意力(strip pyramid channel attention,SPCA)模块学习多尺度的空间信息,以更好地检测小尺度的云;采用分层特征聚合(hierarchical feature aggregation,HFA)模块来融合高维和低维特征,从而得到最终的分割效果。该方法可以应用在小块云图的分割上,且提升了边缘分割的准确度。

1.7 Transformer

Transformer最早由Vaswani等^[64]提出,最初应用于自然语言处理领域。Transformer的核心思想是基于自注意力机制(self-attention)的架构,其抛弃了传统依赖序列顺序的方式,提升了处理任务的并行性和处理长距离依赖关系的能力。

Liu等^[65]将CNN与Transformer相结合,提出了一种用于地基云图分割的方法TransCloudSeg。TransCloudSeg基于编码-解码结构,在编码和解码部分同时使用CNN和Transformer两种方法。为了更好地融合编码器的特征,TransCloudSeg使用一种异构融合模块(heterogeneous fusion module,HFM),应用自注意力机制进行区分性特征学习。TransCloudSeg避免了CNN中因卷积核过小导致的感受野缺失,也避免了Transformer中缺乏局部细节处理的问题,获得了更好地分割效果。

Hu等^[66]基于Transformer提出了一种多分支卷积注意力网络MCANet,用于在遥感图像中分割云和雪的区域。MCANet由卷积分支和注意力分支两个分支组成,用于分别提取图像特征并融合全局和局部特征。此外,MCANet还采用了融合模块来将不同分支的特征信息进行融合,使用解码器模块来增强图像的信息并细化边界的分割。MCANet可用于对云、雪或更复杂的多类别任务,提高了遥感图像中云和雪分割的准确性。

2 基于迁移学习的云图分割方法

收起

迁移学习的目的是利用源领域上学到的知识来改善目标领域上的学习任务,从而提高模型的泛化能力。迁移学习能够加速模型在目标领域的训练速度、提升模型的泛化能力、更适应多任务学习,按照学习方法主要分为以下几种类型:基于样本的迁移^[67]、基于特征的迁移^[68]和基于模型的迁移^[69]等。近年来,迁移学习已应用在各个领域,主要在计算机视觉和自然语言处理等。但由于目前缺乏针对云图分割的大规模公开数据集,这为相关模型的训练带来了挑战。

Gonzales等^[70]使用了一个基于深度卷积U-Net架构的模型。该模型在ImageNet^[71]上使用ResNet架构进行预训练,将参数迁移至具有四通道(RGBA)输入体系的U-Net模型的编码器中,用于初始化U-Net第一层卷积中的前3个通道(RGB)的权重。实验表明,该模型比FCN模型精确度提升了12.85%。

Mateo-garcía等^[72]探讨了在使用FCN模型的情况下,使用不同的卫星云图数据集会对模型输出产生何种效果,文中共使用了3种迁移方法,分别为:使用Landsat-8的数据训练模型,并将参数迁移到Proba-V数据^[73]中;使用Proba-V的数据训练模型,并将参数迁移到Landsat-8数据中;同时使用Proba-V和Landsat-8数据训练模型,并将参数迁移到Proba-V数据中。实验表明第3种方法效果最好。

Zhou等^[74]开发了一种新的迁移学习模型TL-DeepLabV3+。该模型通过在PASCAL VOC 2012数据集^[75]上预训练DeepLabV3+网络,然后在自己建立的包含1 742张云图的GBCS数据集上重新训练来实现云图分割。实验表明,该模型在云图分割上获得了91.05%的平均交并比,并在其他数据集上也有着很好的性能。

3 基于轻量级模型的云图分割方法

收起

轻量级模型指在模型结构和参数规模上相对较小、资源消耗较低,但仍能在特定任务上表现良好的深度学习或机器学习模型。轻量级模型一般应用于小模型规模、低计算复杂度、移动设备、快速部署等场景。常见的轻量级模型包括MobileNet^[76]、Tiny-YOLO^[77]、SqueezeNet^[78]等。云图分割的应用领域主要集中于气象预测、灾难预警等,具有一定实时性要求,所以有效的轻量级手段是十分重要的。

Hu等^[79]提出了一种基于深度学习的轻量级遥感云图分割网络LCDNet。LCDNet基于编码-解码结构,引入了ResNet中提出的瓶颈残差块作为改进,整体采用瓶颈设计,用于减少参数和计算量。同时,LCDNet结合门控通道激励(gated channel excitation,GCE)模块和自注意力模块,减少特征冗余,提升了云检测的准确性。

张雪等^[80]利用MobileNet的设计思想,提出了一种基于地基云图的轻量化分割网络LGCSegNet。LGCSegNet整体采用编码-解码结构,在特征提取上采用MobileNet的深度可分离卷积(depthwise separable convolution)和膨胀卷积(dilated convolution),减少了参数计算量和模型大小。同时,使用通道拼接的思想实现了不同层次图像的特征融合,提升了云图分割的准确性。

4 云图分割中常用的评价参数

收起

评价参数适用于评价网络模型最直观的表达方式,常用召回率、交并比等评价网络模型的好坏程度。本节主要列举几个云图分割中常用的评价参数,其中TP(true positive)表示真正,即实际像素为云且分割结果为云;TN(true negative)表示真负,即实际像素为非云且分割结果为非云;FP(false positive)表示假正,即实际像素为非云但分割结果为云;FN(false negative)表示假负,即实际像素为云但分割结果为非云。

4.1 精确率

精确率(precision,P)表示准确分割为云的像素与全部分割为云的比值,其表达式为

(4)

$P=\frac{TP}{TP+FP}$

4.2 准确率

准确率(accuracy,ACC)表示准确分割的像素与总体像素的比值,其表达式为

(5)

$ACC=\frac{TP+TN}{TP+FP+TN+FM}$

4.3 平均准确率

平均准确率(Average_ACC)为对所有云图的ACC求平均值,其表达式为

(6)

$Averag{e}_{ACC}=\frac{1}{n}\sum _{i=1}^{n}AC{C}_{i}$

式(6)中:n为云图的数量。

4.4 交并比

交并比(IoU)表示结果中每类(云、非云)像素与该像素真实值的交集与并集的比值,其表达式为

(7)

$IoU=\frac{TP}{TP+FP+FN}$

4.5 平均交并比

平均交并比(mIoU)为对IoU求平均值,其表达式为

(8)

$mIoU=\frac{1}{2}\left(\frac{TP}{TP+FP+FN}+\frac{TN}{TN+FP+FN}\right)$

4.6 召回率

召回率(recall,R)表示准确分割为云的像素与实际为云的像素的比值,其表达式为

(9)

$R=\frac{TP}{TP+FN}$

5 分析与比较

收起

针对上述所介绍的基于机器学习的云图分割技术,按照关键技术、优缺点和评价指标这3个方面进行总结,如表1所示。

(1)关键技术主要包括原基本模型进行的改进部分及新模型中具有的特色部分,以便各位读者快速了解各方法主要应用的技术。

(2)优缺点中阐述了相关模型着重解决的部分及后续可以改进之处,经研读所选文献可知,大部分模型主要针对边缘检测、云雪共存、日夜间云分割、分割准确性、参数量等进行改进。

(3)从评价指标可以看出,在云图分割中主要的评价指标是mIoU和ACC。表1中列举了各个模型中主要采用的评价指标和数值,对各模型进行了一个大致的比较。

近几年的云图分割领域中使用机器学习解决了很多问题,也为未来的各项研究提供了方向。由上述章节可以看出,近些年各种注意力机制、残差结构和卷积结构已经应用在机器学习中,以满足不同需求的云图分割任务。机器学习覆盖面较广且变化多样,本文研究在现有基础上进一步总结了云图分割中面对不同问题的改进方法,给出了几个改进方案供参考,如表2所示。

6 结论与展望

收起

研究表明,目前云图分割的重难点仍然集中在如何提升算法的计算速度、减少算法的参数量、更好地进行特征融合以提取更多信息、提升算法的边界和细节分割能力等,在表1也进行了相应阐述。机器学习为云图分割做出了很大贡献,产生了积极的影响,但机器学习在云图分割领域的应用仍面临一些问题和挑战,针对这些问题和挑战,对未来展望如下。

(1)对其他可能对云图分割结果产生影响的因素考虑较少。大多数研究表明,日间太阳光、建筑物等可能对云图分割结果带来影响,但云图分割的精度也易受如云层高度、夜间发光物体、图像的物理畸变等因素的影响。因此,提升云图分割的抗干扰能力是未来该领域研究的基础性工作。

(2)融合多模态、大模型等新兴技术进行云图分割。当前对云图分割主要基于图像进行识别、分割,来源较为单一。未来可结合如文字描述、多光谱、雷达等多源数据进行多模态综合分析,或利用大模型等新兴技术进一步提升云图分割的准确性。

(3)提升模型的实时性,降低模型计算量。根据上述研究可知,各类先进算法的复杂度越来越高,实时性较差且计算量较大,而往往云图分割的实际应用场景对反应速度有着一定的要求,所以提升算法的速度也是一个值得关注的研究点。

(4)进一步探究云图分割和识别的联合检测模型。上述所有算法中,仅有一篇文章关注了有关云图分割和识别的联合检测领域,由于识别和分割间有一定联系,后续研究可关注此方向,进一步发挥相关算法的拓展性。

(5)探究小样本云图分割算法。通过半监督、无监督、迁移学习、元学习、GAN等来减少算法对数据的依赖,提高对有限数据的训练效率。

(6)动态分割。机器学习中涉及云的动态特征的获取和分析较少,通过视频处理技术可以获取云的连贯运动方向并预测趋势,在天气预测、台风的路径预测等有着一定的应用场景。

本文虽对该研究方向后续面临的挑战进行了讨论,提出了相关见解,但仍存在如下不足:只针对现有方法的理论部分进行了详细研究,并未实操验证相关实验,整体上不够完整。同时,期待将来会有效果更好、效率更高和参数更少的新模型出现。

基金

收起

国家重点研发计划(YS2021YFC2203202)
国家自然科学基金(11873063)
全国高等院校计算机基础教育研究会计算机基础教育教学研究课题(2023-AFCEC-004)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Zhang

, Liu

, Zhang

, et al. CloudNet: ground-based cloud classification with deep convolutional neural network[J]. Geophy-sical Research Letters, 2018, 45(16): 8665-8672.

[2]

Duda

D P

, Minnis

, Khlopenkov

, et al. Estimation of 2006 Northern Hemisphere contrail coverage using MODIS data[J]. Geophysical Research Letters, 2013, 40(3): 612-617.

[3]

Cui

, Liu

, Zhao

. YUN:a fast ground-to-air cloud image recognition framework[C]//Proceedings of the 2019 IEEE 23rd International Conference on Computer Supported Cooperative Work in Design( CSCWD). Porto: IEEE, 2019: 290-294.

[4]

Dev

, Savoy

F M

, Lee

Y H

, et al. Estimating solar irradiance using skyimagers[J]. Atmospheric Measurement Techniques, 2019, 12(10): 5417-5429.

[5]

Gufan

, Lehahn

, Fredj

, et al. Segmentation and tracking of marine cellular clouds observed by geostationary satellites[J]. International Journal of Remote Sensing, 2016, 37(5): 1055-1068.

[6]

Hidayat

, Mahasena

, Dermawan

, et al. Clear sky fraction above Indonesia: an analysis for astronomical siteselection[J]. Monthly Notices of the Royal Astronomical Society, 2012, 427(3): 1903-1917.

[7]

周厚瑀, 董庆, 孟德利, 等. 基于MODIS数据的青藏高原遥感云量重构[J]. 遥感技术与应用, 2023, 38(5): 1136-1147.

Zhou

Houyu

, Dong

Qing

, Meng

Deli

, et al. Reconstruction of remote sensing cloud cover over Tibetan plateau based on MODIS data[J]. Remote Sensing Technology and Application, 2023, 38(5): 1136-1147.

[8]

Fan

Y X

, Huang

X Y

, Li

. A case study on cloud measurement with a 35 GHz millimeter-wave cloud radar[J]. Transactions of Atmospheric Sciences, 2013, 36(5): 554-559.

[9]

杨昌军, 张昊, 张秀再, 等. 基于轻量化卷积神经网络模型的云与云阴影检测方法[J]. 科学技术与工程, 2023, 23(32): 13681-13687.

Yang

Changjun

, Zhang

Hao

, Zhang

Xiuzai

, et al. Research on lightweight cloud and cloud shadow detection method based on depthwise separable convolution[J]. Science Technology and Engineering, 2023, 23(32): 13681-13687.

[10]

王敏, 李晟, 庄志豪, 等. 基于语义分割深度学习的地基云图分割方法[J]. 科学技术与工程, 2023, 23(31): 13204-13216.

Wang

Min

, Li

Sheng

, Zhuang

Zhihao

, et al. Research on ground-based cloud graph segmentation method based on deep learning semantic segmentation network[J]. Science Technology and Engineering, 2023, 23(31): 13204-13216.

[11]

Foga

, Scaramuzza

, Guo

, et al. Cloud detection algorithm comparison and validation for operational Landsat data products[J]. Remote Sensing of Environment, 2017, 194: 379-390.

[12]

King

M D

, Platnick

, Menzel

W P

, et al. Spatial and temporal distribution of clouds observed by MODIS onboard the Terra and Aqua Satellites[J]. IEEE Transactions on Geoscience & Remote Sensing, 2013, 51(7): 3826-3852.

[13]

Dev

, Savoy

F M

, Lee

Y H

, et al. Nighttime

sky/cloud image segmentationC

// ICIP). Proceedings of the 2017 IEEE International Conference on Image Processing( Beijing: IEEE, 2017: 345-349.

[14]

孙继飞, 贾克斌. 基于多尺度特征的地基云图分类检测算法[J]. 计算机科学, 2024, 51(S1): 317-322.

Sun

Jifei

, Jia

Kebin

. Classification and detection algorithm of ground-based cloud images based on multi-scale features[J]. Computer Science, 2024, 51(S1): 317-322.

[15]

李微, 李春梦, 刘青松, 等. 基于生物信息学和机器学习探究溃疡性结肠炎能量代谢关键基因及其潜在机制[J]. 科学技术与工程, 2024, 24(9): 3605-3622.

Wei

, Li

Chunmeng

, Liu

Qingsong

, et al. Exploring key energy metabolism-related genes and potential mechanisms in ulcerative colitis based on bioinformatics and machine learning[J]. Science Technology and Engineering, 2024, 24(9): 3605-3622.

[16]

杨书鸿, 牛玥, 刘力铭. 融合外部知识和图卷积神经网络的生物医学事件联合识别[J]. 科学技术与工程, 2024, 24(22): 9464-9473.

Yang

Shuhong

, Niu

Yue

, Liu

Liming

. Joint recognition of biome-dical events incorporating external knowledge and graph convolutional neural networks[J]. Science Technology and Engineering, 2024, 24(22): 9464-9473.

[17]

周烽, 王世璞, 张坤鹏. 基于图Transformer网络的城市路网短时交通流预测模型[J]. 科学技术与工程, 2024, 24(10): 4307-4316.

Zhou

Feng

, Wang

Shipu

, Zhang

Kunpeng

. A short-term traffic flow prediction model for urban road network based on graph transformer network[J]. Science Technology and Engineering, 2024, 24(10): 4307-4316.

[18]

Kiat

O B

, Hongjun

, Eun-jin

, et al. Machine-guided exploration and calibration of astrophysical simulations[J]. Monthly Notices of the Royal Astronomical Society, 2022, 515(1): 693-705.

[19]

Mcculloch

W S

, Pitts

. A logical calculus of the ideas immanent in nervousactivity[J]. Bulletin of Mathematical Biophysics, 1943, 5(9): 115-133.

[20]

Lecun

, Bottou

. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.

[21]

Krizhevsky

, Sutskever

, Hinton

G E

. ImageNet classification with deep convolutional neuralnetworks[J]. Communications of the ACM, 2017, 60(6): 84-90.

[22]

Simonyan

, Zisserman

. Very deep convolut-ional networks for large-scale image recognition[J]. arXiv Preprint, 2014: arXiv: 1409.1556.

[23]

Szegedy

, Liu

, Jia

, et al. Going

deeper with convolutionsC

// CVPR). Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition( Massachusetts: IEEE, 2015: 1-9.

[24]

Chen

L C

, Papandreou

, Kokkinos

, et al. Semantic image segmentation with deep convolutional nets and fully connected CRFs[J]. arXiv Preprint, 2014: arXiv: 1412.7062.

[25]

, He

, Jian

, et al. Fast cloud image segmentation with superpixel analysis based convolutional networks[C]// Proceedings of the 2017 International Conference on Systems, Signals and Image Processing(IWSSIP). Poznań: IEEE, 2017: 1-5.

[26]

Xie

, Shi

, et al. Multilevel cloud detection in remote sensing images based on deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3631-3640.

[27]

Achanta

, Shaji

, Smith

, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[28]

Luotamo

, Metsämäki

, Klami

. Multiscale cloud detection in remote sensing images using a dual convolutional neuralnetwork[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 59(6): 4972-4983.

[29]

Xie

, Liu

, Yang

, et al. SegCloud: a novel cloud image segmentation model using a deep convolutional neural network for ground-based all-sky-view cameraobservation[J]. Atmospheric Measurement Techniques, 2020, 13(4): 1953-1961.

[30]

, Wang

, Zhuang

S Z

, et al. CloudDeepLabV3+: a lightweight ground-based cloud segmentation method based on multi-scale feature aggregation and multi-level attention feature enhancement[J]. International Journal of Remote Sensing, 2023, 44(15), 4836-4856.

[31]

Tan

, Le

Q V

. EfficientNetV2: smaller models and fastertraining[J]. arXiv Preprint, 2014: arXiv: 2104.00298.

[32]

Long

, Shelhamer

, Darrell

. Fully convolut-ional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[33]

毋立芳, 贺娇瑜, 简萌, 等. 局部聚类分析的FCN-CNN云图分割方法[J]. 软件学报, 2018, 29(4): 1049-1059.

Lifang

, He

Jiaoyu

, Jian

Meng

, et al. Local clustering analysis based FCN-CNN for cloud image segmentation[J]. Journal of Software, 2018, 29(4): 1049-1059.

[34]

, Li

, Liu

, et al. Attention mechanismcloud detection with modified FCN for infrared remote sensing images[J]. IEEE Access, 2021, 9: 150975-150983.

[35]

Goodfellow

, Pouget-abadie

, Mirza

, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014, 27. DOI: 10.3156/JSOFT.29.5_177_2.

[36]

Liu

, Deng

, Zeng

, et al. CVPR).Regularizing discriminative capability of CGANs for semi-supervised generative learning[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition( Seattle: IEEE, 2020: 5720-5729.

[37]

Chang

, Qu

, Zhang

, et al. Synthetic learning:learn from distributed asynchronized discriminator gan without sharing medical image data[C]//Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition( CVPR). Seattle: IEEE, 2020: 13856-13866.

[38]

, Chen

, Yang

. CVPR).Learning invariant representation for unsupervised image restoration[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition( Seattle: IEEE, 2020: 14483-14492.

[39]

Jain

, Meegan

, Dev

. IGARSS).Using GANs to augment data for cloud image segmentation task[C]// Proceedings of the 2021 IEEE International Geoscience and Remote Sensing Symposium( Brussels: IEEE, 2021: 3452-3455.

[40]

Ronneberger

, Fischer

, Brox

. U-Net:convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention( MICCAI). Munich: Springer, 2015: 234-241.

[41]

Çiçek

, Abdulkadir

, Lienkamp

S S

, et al. MICCAI).3D U-Net: learning dense volumetric segmentation from sparse annotation[C]// Proceedings of the 19th International Conferenceon Medical Image Computing and Computer-Assisted Intervention( Athens: Springer, 2016: 424-432.

[42]

Oktay

, Schlemper

, Folgoc

L L

, et al. Attention U-Net: learning where to look for the pancreas[J]. arXiv Preprint, 2018: arXiv: 1804.03999.

[43]

Farshad

, Yeganeh

, Gehlbach

, et al. Y-Net:a spatiospectral dual-encoder network for medical image segmentation[C]//Proceedings of the 25th International Conference on Medical Image Computing and Computer-Assisted Intervention( MICCAI). Singapore: Springer, 2022: 582-592.

[44]

Zhou

, Rahman Siddiquee

M M

, Tajbakhsh

, et al. Unet++: a nested U-net architecture for medical image segmentation[C]//Proceedings of the Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support: 4th International Workshop, DLMIA 2018, and 8th International Workshop, ML-CDS 2018. Granada:Springer, 2018: 3-11.

[45]

Shi

, Zhou

, Qiu

, et al. CloudU-Net: a deep convolutional neural network architecture for daytime and nighttime cloud images’ segmentation[J]. IEEE Geoscience and Remote Sensing Letters, 2020, 18(10): 1688-1692.

[46]

Shi

, Zhou

, Qiu

. CloudU-Netv2: a cloud segmentation method for ground-based cloud images based on deeplearning[J]. Neural Processing Letters, 2021, 53(4): 2715-2728.

[47]

, Zhang

, Xia

. CDUNet: cloud detection UNet for remote sensing imagery[J]. Remote Sensing, 2021, 13(22). DOI: 10.3390/rs13224533.

[48]

Tao

, Zhang

, Wang

, et al. U-High resolution network(U-HRNet): cloud detection with high-resolution representations for geostationary satellite imagery[J]. International Journal of Remote Sensing, 2021, 42(9): 3511-3533.

[49]

, Xiao

, Gao

, et al. Lite-hrnet:a lightweight high-resolution network[C]//Proceedings of the 2021 IEEE/CVF Confe-rence on Computer Vision and Pattern Recognition( CVPR). Kuala Lumpur: IEEE, 2021: 10440-10450.

[50]

崔志强, 单慧琳, 张银胜, 等. 基于改进型U-Net的遥感云图分割方法[J]. 电子测量技术, 2022, 45(12): 127-132.

Cui

Zhiqiang

, Shan

Huilin

, Zhang

Yinsheng

, et al. Method of remote sensing cloud image segmentation algorithm based on improved U-Net[J]. Electronic Measurement Technology, 2022, 45(12): 127-132.

[51]

Buttar

P K

, Sachan

M K

. Semantic segmentation of clouds in sate-llite images based on U-Net++ architecture and attentionmechanism[J]. Expert Systems with Applications, 2022, 209. DOI: 10.1016/j.eswa.2022.118380.

[52]

, Hou

, Zhu

, et al. CloudY-Net: a deep convolutional neural network architecture for joint segmentation and classification of ground-based cloudimages[J]. Atmosphere, 2023, 14(9): 1405.

[53]

Yin

M J

, Wang

, Hao

W L

, et al. Cloud detection of high-resolution remote sensing image based on improved U-Net[J]. Multimedia Tools and Applications, 2023, 2023: 1-18.

[54]

Badrinarayanan

, Kendall

, Cipolla

. Segnet: a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[55]

Dev

, Nautiyal

, Lee

Y H

, et al. CloudSegNet: a deep network for nychthemeron cloud imagesegmentation[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 16(12): 1814-1818.

[56]

, Wang

, Zhu

, et al. P_SegNet and NP_SegNet: new neural network architectures for cloud recognition of remote sensing images[J]. IEEE Access, 2019, 7: 87323-87333.

[57]

吉茹, 张银胜, 杨宇龙, 等. 基于多尺度特征融合的改进型云图分割方法[J]. 国外电子测量技术, 2022, 41(11): 37-44.

, Zhang

Yinsheng

, Yang

Yulong

, et al. Improved cloud image segmentation method based on muti-scale feature fusion[J]. Fo-reign Electronic Measurement Technology, 2022, 41(11): 37-44.

[58]

张雪, 贾克斌, 刘钧, 等. 基于多任务学习的地基云图识别与分割技术[J]. 气象, 2023, 49(4): 454-466.

Zhang

Xue

, Jia

Kebin

, Liu

Jun

, et al. Ground cloud image recognition and segmentation technology based on muti-task learning[J]. Meteorological Monthly, 2023, 49(4): 454-466.

[59]

, Zhang

, Ren

, et al. CVPR).Deep residual learning for image recognition[C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition( Las Vegas: IEEE, 2016: 770-778.

[60]

Yang

, Guo

, Yue

, et al. CDnet: CNN-based cloud detection for remote sensingimagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8): 6195-6211.

[61]

, Li

, Zheng

, et al. An effective cloud detection method for Gaofen-5 images via deeplearning[J]. Remote Sensing, 2020, 12(13): 2106.

[62]

Chen

, Xia

, Lin

, et al. Multiscale attention feature aggregation network for cloud and cloud shadow segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61: 1-16.

[63]

Zhang

, Weng

, Ding

, et al. CRSNet: cloud and cloud sha-dow refinement segmentation networks for remote sensing imagery[J]. Remote Sensing, 2023, 15(6): 1664-1670.

[64]

Vaswani

, Shazeer

, Parmar

, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30. DOI: 10.48550/arXiv.1706.03762.

[65]

Liu

, Zhang

, et al. TransCloudSeg: ground-based cloud image segmentation withtransformer[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022, 15: 6121-6132.

[66]

, Zhang

, Xia

, et al. Mcanet: a multi-branch network for cloud/snow segmentation in high-resolution remote sensing images[J]. Remote Sensing, 2023, 15(4). DOI: 10.3390/rs15041055.

[67]

Bursa

, Kovaevi

, Bajat

. Instance-based transfer learning for soil organic carbonestimation[J]. Frontiers in Environmental Science, 2022, 10. DOI: 10.3389/fenvs.2022.1003918.

[68]

Ren

, Liu

, Shan

, et al. A new wind turbine health condition monitoring method based on VMD-MPE and feature-based transfer learning[J]. Measurement, 2019, 148. DOI: 10.1016/j.measurement.2019.1069.06.

[69]

Husain

, Uzuner

. Transfer learning approach forarabic offensive language detection system-BERT-based model[J]. arXiv Preprint, 2021: arXiv: 2102.05708.

[70]

Gonzales

, Sakla

. AIPR).Semantic segmentation of clouds in satellite imagery using deep pre-trained U-Nets[C]// Proceedings of the 2019 IEEE Applied Imagery Pattern Recognition Workshop( Beijing: IEEE, 2019: 1-7.

[71]

Krizhevsky

, Sutskever

, Hinton

G E

. Imagenet classification with deep convolutional neuralnetworks[J]. Advances in Neural Information Processing Systems, 2012, 60: 84-90.

[72]

Mateo-garcía

, Laparra

, López-puigdollers

, et al. Transferring deep learning models for cloud detection between Landsat-8 and Proba-V[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160: 1-17.

[73]

Iannone

R Q

, Niro

, Goryl

, et al. Proba-V cloud detection Round Robin:validation results and recommendations[C]//Proceedings of the 2017 9th International Workshop on the Analysis of Multitemporal Remote Sensing Images( MultiTemp). Brugge: IEEE, 2017: 1-8.

[74]

Zhou

, Zhang

, Xiao

, et al. A novel ground-based cloud image segmentation method by using deep transfer learning[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1-5.

[75]

Everingham

, Eslami

S M A

, Van Gool

, et al. The pascal vi-sual object classes challenge: aretrospective[J]. International Journal of Computer Vision, 2015, 111: 98-136.

[76]

Howard

A G

, Zhu

, Chen

, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[J]. arXiv Preprint, 2017: arXiv: 1704.04861.

[77]

Redmon

, Farhadi

. better

faster, strongerC

// CVPR). Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition( Honolulu: IEEE, 2017: 7263-7271.

[78]

Iandola

F N

, Han

, Moskewicz

M W

, et al. SqueezeNet: alexNet-level accuracy with 50x fewer parameters and <0.5 MB model size[J]. arXiv Preprint, 2016: arXiv: 1602.07360.

[79]

, Zhang

, Xia

, et al. LCDNet: light-weighted cloud detection network for high-resolution remote sensingimages[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2022: 15: 4809-4823.

[80]

张雪, 贾克斌, 刘钧, 等. 面向轻量化的地基云图分割技术研究[J]. 测控技术, 2022, 41(9): 37-43.

Zhang

Xue

, Jia

Kebin

, Liu

Jun

, et al. Segmentation technology of ground-based cloud image for lightweight[J]. Measurement & Control Technology, 2022, 41(9): 37-43.

2025年第25卷第6期

PDF下载

427

180

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2401760

接收时间：2024-03-13
首发时间：2025-07-27
出版时间：2025-02-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-03-13
修回日期：2024-11-25

基金

国家重点研发计划(YS2021YFC2203202)

国家自然科学基金(11873063)

全国高等院校计算机基础教育研究会计算机基础教育教学研究课题(2023-AFCEC-004)

作者信息

北京信息科技大学管理科学与工程学院, 北京 102206

通讯作者:

^* 张洪瑞(2001—),男,汉族,吉林松原人,硕士研究生。研究方向:计算机视觉、多模态处理。E-mail:1036688481@qq.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2401760

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

分类	基本模型	名称	发表年份	关键技术和特点	优缺点	云图类别	评价指标	数值/ %
基于神经网络的云图分割方法	CNN	SP-CNN^[25]	2017	均值偏移方法	优:需较少图像像素数量和计算时间; 缺:可改进全连接层进一步缩短计算成本	雷达云图	IoU	80.132±0.512
基于深度学习的多级云检测方法^[26]	2017	SLIC算法双分支CNN结构	优:准确检测云的边界和区分薄、厚云; 缺:需更多处理步骤和资源	卫星云图	R	94.54
级联CNN 架构^[28]	2021	“粗糙—精细”架构	优:可与其他模型进行结合使用; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	无	无
Seg Cloud^[29]	2021	将VGG16的全连接层替换成解码器	优:端到端的分割; 缺:识别极薄云困难	地基云图	Average_ACC	96.24
Cloud DeepLabV3+^[30]	2023	HSP卷积窗口 SE结构	优:降低因光照条件等因素对分割的影响; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	94.3
FCN	FCN-CNN^[33]	2018	用FCN-32s和FCN-8s实现云图预分割	优:云图预分割提升了分割的准确率; 缺:暂未提及	雷达云图	IoU	81.235±0.506
AM-CDN^[34]	2021	空洞卷积注意力机制	优:实时检测; 缺:区分冰、雪等类似云的部分时准确率低	卫星云图	mIoU	79.43
GAN	增强数据集^[39]	2021	GAN	优:增强了训练集的有效性; 缺:生成的图像可能与原始图像不一致	卫星云图	ACC	86.2
U-Net	CloudU-Net^[45]	2021	Fully Connected CRF层	优:适用于夜间和日间云图分割; 缺:模型复杂度较高	地基云图	ACC	96.9
CloudU-Netv2^[46]	2021	DAM	优:更关注位置特征和通道特征; 缺:模型复杂度较高	地基云图	ACC	96
CDU Net^[47]	2021	HFE MSC SPSA	优:可对复杂地面对象中的薄云进行分割; 缺:可减少计算开销	卫星云图	mIoU	87.36
U-HR Net^[48]	2021	融合高、低分辨率卷积层 JPU方法	优:适用于夜间和日间云图分割; 缺:云雪共存等复杂情况还需进一步改进	卫星云图	mIoU	94.03
改进型 U-Net^[50]	2022	高效通道注意力机制	优:参数量少,对边缘细节等部分处理较好; 缺:暂未提及	卫星云图	mIoU	99.16
基于神经网络的云图分割方法	U-Net	SEUNet++^[51]	2022	深度监督算法轻量级注意力机制	优:能检测出薄云层; 缺:暂未提及	卫星云图	IoU	91.8
CloudY-Net^[52]	2023	多头自注意力机制 C-MoE模块	优:可同时进行云图像的分割与分类; 缺:准确性需提高,网络结构需简化	地基云图	ACC	88.58
使用VGG16改进的U-Net^[53]	2023	VGG16替换U-Net 编码器	优:可对碎云进行较精细的分割; 缺:区分冰、雪等类似云的部分时准确率低。	卫星云图	IoU	89.8
Seg Net	CloudSegNet^[55]	2019	概率掩模阈值处理	优:训练速度较快,不需要耗时的预处理; 缺:暂未提及	卫星云图	无	无
P_Segnet NP_Segnet^[56]	2019	平行结构	优:分割准确性提升; 缺:输入大小需确定,仍存在云、雪误判	卫星云图	ACC	78.9 84.6
多尺度特征融合的SegNet^[57]	2022	多尺度特征融合	优:边缘分割效果好; 缺:参数量较大	地基云图	mIoU	91.24
GCR SegNet^[58]	2023	识别网络分割网络	优:多任务学习; 缺:可探究一张地基云图存在多种云的情况	地基云图	ACC	94.28
Res Net	CDnet^[60]	2019	特征金字塔模块边界优化模块	优:在云、雪共存的情况下有着良好分割; 缺:薄云分割需改进	卫星云图	mIoU	91.7
MFG Net^[61]	2020	SPPA模型 LFSA模型	优:能融合云图的深层与浅层信息; 缺:训练样本较少,小目标识别存在困难	卫星云图	IoU	90
MAFA Net^[62]	2023	MSPA模型 DMFA模型 BFF、BRB模块	优:对云、云影和边界的分割更准确; 缺:模型参数量较大,较为复杂	卫星云图	mIoU	87.57
CRS Net^[63]	2023	MGA模块 SPCA模块 HFA模块	优:对云图边缘和小尺寸的云检测效果较好; 缺:模型复杂度较高	卫星云图	mIoU	87.52
Trans former	TransCloudSeg^[65]	2022	HFM模块	优:更关注全局上下文信息,细节处理较好; 缺:算法复杂度高,计算时间长,参数量多	地基云图	ACC	92.28
MCA Net^[66]	2023	卷积分支注意力分支	优:准确分割云和雪; 缺:模型参数量较多	卫星云图	mIoU	92.736
基于迁移学习的云图分割方法	Res Net	基于深度卷积U-Net架构的迁移模型^[70]	2019	迁移学习 ResNet	优:方法易于实现,训练迭代次数较少; 缺:暂未提及	卫星云图	P	97.44
FCN	文献[72]的三种迁移方法	2020	讨论了数据集和验证集对同一迁移模型分割效果的影响	无	卫星云图	无	无
Deep LabV3+	TL-DeepLabV3+^[14]	2022	迁移学习 DeepLab V3+	优:提升分割准确性; 缺:可添加非云类标签优化分割的表现能力	地基云图	mIoU	91.05
基于轻量级模型的云图分割方法	Res Net	LCD Net^[79]	2022	瓶颈残差块 GCE模块	优:参数量少,降低干扰对分割准确率影响; 缺:暂未提及	卫星云图	mIoU	89.59
Mobile Net	LGC SegNet^[80]	2022	深度可分离卷积空洞卷积	优:参数量少,且避免了边界损失; 缺:可优化实现云图分割和分类的联合检测	地基云图	mIoU	86

分类

基本
模型

名称

发表
年份

关键技术和特点

优缺点

云图
类别

评价
指标

数值/
%

基于神经网络的云图分割方法

CNN

SP-CNN^[25]

2017

均值偏移方法

优:需较少图像像素数量和计算时间;
缺:可改进全连接层进一步缩短计算成本

雷达
云图

IoU

80.132±0.512

基于深度学习
的多级云检测
方法^[26]

2017

SLIC算法
双分支CNN结构

优:准确检测云的边界和区分薄、厚云;
缺:需更多处理步骤和资源

卫星
云图

94.54

级联CNN
架构^[28]

2021

“粗糙—精细”架构

优:可与其他模型进行结合使用;
缺:区分冰、雪等类似云的部分时准确率低

卫星
云图

无

Seg
Cloud^[29]

2021

将VGG16的全连接层替换成解码器

优:端到端的分割;
缺:识别极薄云困难

地基
云图

Average_ACC

96.24

Cloud
DeepLabV3+^[30]

2023

HSP卷积窗口
SE结构

优:降低因光照条件等因素对分割的影响;
缺:可添加非云类标签优化分割的表现能力

地基
云图

mIoU

94.3

FCN

FCN-CNN^[33]

2018

用FCN-32s和FCN-8s实现云图预分割

优:云图预分割提升了分割的准确率;
缺:暂未提及

雷达
云图

IoU

81.235±0.506

AM-CDN^[34]

2021

空洞卷积
注意力机制

优:实时检测;
缺:区分冰、雪等类似云的部分时准确率低

卫星
云图

mIoU

79.43

GAN

增强数据集^[39]

2021

GAN

优:增强了训练集的有效性;
缺:生成的图像可能与原始图像不一致

卫星
云图

ACC

86.2

U-Net

CloudU-Net^[45]

2021

Fully Connected
CRF层

优:适用于夜间和日间云图分割;
缺:模型复杂度较高

地基
云图

ACC

96.9

CloudU-Netv2^[46]

2021

DAM

优:更关注位置特征和通道特征;
缺:模型复杂度较高

地基
云图

ACC

CDU
Net^[47]

2021

HFE
MSC
SPSA

优:可对复杂地面对象中的薄云进行分割;
缺:可减少计算开销

卫星
云图

mIoU

87.36

U-HR
Net^[48]

2021

融合高、低分辨率卷积层
JPU方法

优:适用于夜间和日间云图分割;
缺:云雪共存等复杂情况还需进一步改进

卫星
云图

mIoU

94.03

改进型
U-Net^[50]

2022

高效通道注意力机制

优:参数量少,对边缘细节等部分处理较好;
缺:暂未提及

卫星
云图

mIoU

99.16

基于神经网络的云图分割方法

U-Net

SEUNet++^[51]

2022

深度监督算法
轻量级注意力机制

优:能检测出薄云层;
缺:暂未提及

卫星
云图

IoU

91.8

CloudY-Net^[52]

2023

多头自注意力机制
C-MoE模块

优:可同时进行云图像的分割与分类;
缺:准确性需提高,网络结构需简化

地基
云图

ACC

88.58

使用VGG16改
进的U-Net^[53]

2023

VGG16替换U-Net
编码器

优:可对碎云进行较精细的分割;
缺:区分冰、雪等类似云的部分时准确率低。

卫星
云图

IoU

89.8

Seg
Net

CloudSegNet^[55]

2019

概率掩模
阈值处理

优:训练速度较快,不需要耗时的预处理;
缺:暂未提及

卫星
云图

无

P_Segnet
NP_Segnet^[56]

2019

平行结构

优:分割准确性提升;
缺:输入大小需确定,仍存在云、雪误判

卫星
云图

ACC

78.9
84.6

多尺度特征融
合的SegNet^[57]

2022

多尺度特征融合

优:边缘分割效果好;
缺:参数量较大

地基
云图

mIoU

91.24

GCR
SegNet^[58]

2023

识别网络
分割网络

优:多任务学习;
缺:可探究一张地基云图存在多种云的情况

地基
云图

ACC

94.28

Res
Net

CDnet^[60]

2019

特征金字塔模块
边界优化模块

优:在云、雪共存的情况下有着良好分割;
缺:薄云分割需改进

卫星
云图

mIoU

91.7

MFG
Net^[61]

2020

SPPA模型
LFSA模型

优:能融合云图的深层与浅层信息;
缺:训练样本较少,小目标识别存在困难

卫星
云图

IoU

MAFA
Net^[62]

2023

MSPA模型
DMFA模型
BFF、BRB模块

优:对云、云影和边界的分割更准确;
缺:模型参数量较大,较为复杂

卫星
云图

mIoU

87.57

CRS
Net^[63]

2023

MGA模块
SPCA模块
HFA模块

优:对云图边缘和小尺寸的云检测效果较好;
缺:模型复杂度较高

卫星
云图

mIoU

87.52

Trans
former

TransCloudSeg^[65]

2022

HFM模块

优:更关注全局上下文信息,细节处理较好;
缺:算法复杂度高,计算时间长,参数量多

地基
云图

ACC

92.28

MCA
Net^[66]

2023

卷积分支
注意力分支

优:准确分割云和雪;
缺:模型参数量较多

卫星
云图

mIoU

92.736

基于迁移学习的云图分割方法

Res
Net

基于深度卷积U-Net架构的迁移模型^[70]

2019

迁移学习
ResNet

优:方法易于实现,训练迭代次数较少;
缺:暂未提及

卫星
云图

97.44

FCN

文献[72]的三种迁移方法

2020

讨论了数据集和验证集对同一迁移模型分割效果的影响

无

卫星
云图

无

Deep
LabV3+

TL-DeepLabV3+^[14]

2022

迁移学习
DeepLab V3+

优:提升分割准确性;
缺:可添加非云类标签优化分割的表现能力

地基
云图

mIoU

91.05

基于轻量级模型的云图分割方法

Res
Net

LCD
Net^[79]

2022

瓶颈残差块
GCE模块

优:参数量少,降低干扰对分割准确率影响;
缺:暂未提及

卫星
云图

mIoU

89.59

Mobile
Net

LGC
SegNet^[80]

2022

深度可分离卷积
空洞卷积

优:参数量少,且避免了边界损失;
缺:可优化实现云图分割和分类的联合检测

地基
云图

mIoU

解决问题	神经网络	迁移学习	轻量级模型
提升计算速度	空洞卷积、残差结构、注意力机制、预分割	无	无
减少参数量	空洞卷积、残差结构	无	瓶颈设计、空洞卷积
特征融合	注意力机制、金字塔模块、跳跃连接	跳跃连接	注意力模块
边界、细节分割	残差结构、注意力机制	残差结构	通道拼接

解决问题

神经网络

迁移学习

轻量级模型

提升计算速度

空洞卷积、残差结构、注意力机制、预分割

无

减少参数量

空洞卷积、残差结构

无

瓶颈设计、空洞卷积

特征融合

注意力机制、金字塔模块、跳跃连接

跳跃连接

注意力模块

边界、细节分割

残差结构、注意力机制

残差结构

通道拼接