科学技术与工程

SWIMSEG开源数据集	人工标注数据集	模型标注数据集	总计
861	346	3 822	5 029

SWIMSEG开源数据集

人工标注数据集

模型标注数据集

总计

861

346

3 822

5 029

SWIMSEG开源数据集	人工标注数据集	模型标注数据集	总计
861	346	3 822	5 029

SWIMSEG开源数据集

人工标注数据集

模型标注数据集

总计

861

346

3 822

5 029

网络	ECA	DE-Conv	P_A/%	C_PA/%	M_PA/%	M_IOU/%	R_ecall/%	I_OU/%	F₁/%	大小/Mb
原算法	×	×	97.33	76.66	86.56	81.06	90.19	69.21	87.09	504
算法1	×	√	97.38	80.90	88.49	81.95	89.46	70.55	87.83	59
算法2	√	×	97.77	83.18	89.73	83.89	91.17	73.92	89.37	504
本文算法	√	√	97.72	84.03	90.88	84.13	90.25	74.12	89.59	59

网络

ECA

DE-Conv

P_A/%

C_PA/%

M_PA/%

M_IOU/%

R_ecall/%

I_OU/%

F₁/%

大小/Mb

原算法

97.33

76.66

86.56

81.06

90.19

69.21

87.09

504

算法1

√

97.38

80.90

88.49

81.95

89.46

70.55

87.83

算法2

√

97.77

83.18

89.73

83.89

91.17

73.92

89.37

504

本文算法

√

97.72

84.03

90.88

84.13

90.25

74.12

89.59

网络	ECA	DE-Conv	P_A/%	C_PA/%	M_PA/%	M_IOU/%	R_ecall/%	I_OU/%	F₁/%	大小/Mb
原算法	×	×	97.33	76.66	86.56	81.06	90.19	69.21	87.09	504
算法1	×	√	97.38	80.90	88.49	81.95	89.46	70.55	87.83	59
算法2	√	×	97.77	83.18	89.73	83.89	91.17	73.92	89.37	504
本文算法	√	√	97.72	84.03	90.88	84.13	90.25	74.12	89.59	59

网络

ECA

DE-Conv

P_A/%

C_PA/%

M_PA/%

M_IOU/%

R_ecall/%

I_OU/%

F₁/%

大小/Mb

原算法

97.33

76.66

86.56

81.06

90.19

69.21

87.09

504

算法1

√

97.38

80.90

88.49

81.95

89.46

70.55

87.83

算法2

√

97.77

83.18

89.73

83.89

91.17

73.92

89.37

504

本文算法

√

97.72

84.03

90.88

84.13

90.25

74.12

89.59

算法	P_A/%	C_PA/%	M_PA/%	M_IOU/%	R_ecall/%	I_OU/%	F₁/%
FCN	55.37	24.28	52.26	31.29	52.93	18.38	40.77
UNet	90.73	65.85	76.36	64.65	80.25	45.70	72.78
Mobile_UNet	92.51	68.06	79.23	67.70	80.06	50.06	75.49
U2Net	97.33	76.66	86.56	81.06	90.19	69.21	87.09
本文算法	97.72	84.03	90.88	84.13	90.25	74.12	89.59

算法

P_A/%

C_PA/%

M_PA/%

M_IOU/%

R_ecall/%

I_OU/%

F₁/%

FCN

55.37

24.28

52.26

31.29

52.93

18.38

40.77

UNet

90.73

65.85

76.36

64.65

80.25

45.70

72.78

Mobile_UNet

92.51

68.06

79.23

67.70

80.06

50.06

75.49

U2Net

97.33

76.66

86.56

81.06

90.19

69.21

87.09

本文算法

97.72

84.03

90.88

84.13

90.25

74.12

89.59

算法	P_A/%	C_PA/%	M_PA/%	M_IOU/%	R_ecall/%	I_OU/%	F₁/%
FCN	55.37	24.28	52.26	31.29	52.93	18.38	40.77
UNet	90.73	65.85	76.36	64.65	80.25	45.70	72.78
Mobile_UNet	92.51	68.06	79.23	67.70	80.06	50.06	75.49
U2Net	97.33	76.66	86.56	81.06	90.19	69.21	87.09
本文算法	97.72	84.03	90.88	84.13	90.25	74.12	89.59

算法

P_A/%

C_PA/%

M_PA/%

M_IOU/%

R_ecall/%

I_OU/%

F₁/%

FCN

55.37

24.28

52.26

31.29

52.93

18.38

40.77

UNet

90.73

65.85

76.36

64.65

80.25

45.70

72.78

Mobile_UNet

92.51

68.06

79.23

67.70

80.06

50.06

75.49

U2Net

97.33

76.66

86.56

81.06

90.19

69.21

87.09

本文算法

97.72

84.03

90.88

84.13

90.25

74.12

89.59

基于改进U2Net的地基云图分割技术

PDF下载

翟坤宁 ¹ , 付主木 ¹^,^* , 王秀菊 ¹ , 朱海兵 ² , 卫健行 ² , 常君锐 ²

科学技术与工程 | 论文·天文学、地球科学 2025,25(14): 5737-5744

收起

科学技术与工程 | 论文·天文学、地球科学 2025, 25(14): 5737-5744

基于改进U2Net的地基云图分割技术

全屏

翟坤宁¹, 付主木¹^,^*, 王秀菊¹, 朱海兵², 卫健行², 常君锐²

作者信息

1. 河南科技大学信息工程学院, 洛阳 471000

2. 凯迈(洛阳)测控有限公司, 洛阳 471000

翟坤宁(1999—),男,汉族,河南许昌人,硕士研究生。研究方向:深度学习、图像识别。E-mail:1227879056@qq.com。

通讯作者:

*付主木(1974—),男,汉族,湖北仙桃人,博士,教授。研究方向:混合动力汽车等复杂控制系统建模、控制与优化。E-mail:fuzhumu@haust.edu.cn。

Improved U2Net-Based Ground Cloud Image Segmentation Techniques

Kun-ning ZHAI¹, Zhu-mu FU¹^,^*, Xiu-ju WANG¹, Hai-bing ZHU², Jian-xing WEI², Jun-rui CHANG²

Affiliations

1. School of Information Engineering, Henan University of Science and Technology, Luoyang 471000, China

2. Kaimai (Luoyang) Measurement and Control Co., Ltd., Luoyang 471000, China

出版时间: 2025-05-18 doi: 10.12404/j.issn.1671-1815.2308525

文章导航

摘要

收起

云在地球的大气运动中扮演着重要的角色,精准分割地基云图对天气预报精度的提升起着至关重要的作用。针对现有开源云图数据集数据质量不一、数据量低、拍摄角度不同等问题,通过人工标注和迁移学习的方法构建了带标签的标准地基云图数据集(Cloud-GT),利用颜色通道分量阈值分割法剔除太阳光干扰,并在此基础上提出了一种基于改进U2Net的地基云图分割技术。该模型在特征提取单元中引入了通道注意力模块和深度可分离卷积模块,在提高网络内部对地基云图有效特征提取的同时极大减少了网络模型参数。最后,将该方法与经典分割网络进行比较分析,实验结果表明,该方法的类别像素准确率、类别平均像素精度、平均交并比、交并比和F₁分别达到了84.03%、90.88%、84.13%、74.12%和89.59%,与U2Net、UNet和FCN相比,其效果有了明显的提升。可见该方法不仅极大地减少了模型的参数量,还有效提高了分割的精度,为实际应用提供了可能。

关键词

地基云图 / 图像分割 / U2Net / 注意力机制

Abstract

收起

Clouds play a crucial role in the atmospheric dynamics of the Earth, and precise segmentation of ground-based cloud images is essential for improving the accuracy of weather forecasting. In response to issues such as varying data quality, low data volume, and different capture angles in existing open-source cloud image datasets, a labeled standard ground-based cloud image dataset (Cloud-GT) was constructed using manual annotation and transfer learning methods. The color channel component threshold segmentation method was employed to eliminate sunlight interference. Furthermore, an improved U2Net-based ground-based cloud image segmentation technique was proposed. The model introduced channel attention modules and depth-wise separable convolution modules in the feature extraction unit, which greatly reduces the network model parameters while improving the effective feature extraction of ground-based cloud maps within the network. Finally, comparing and analyzing the method with classical segmentation networks, experimental results indicated that the method achieved classification pixel accuracy, mean class pixel accuracy, average intersection over union, intersection over union, and F₁ score of 84.03%, 90.88%, 84.13%, 74.12%, and 89.59%, respectively. In comparison with U2Net, UNet, and FCN, the method demonstrated a significant improvement in performance. In conclusion, the method not only substantially reduced the model parameters but also effectively enhanced segmentation accuracy, which provides the possibility of practical application.

Key words

foundation cloud map / image segmentation / U2Net / attention mechanism

引用本文

翟坤宁, 付主木, 王秀菊, 朱海兵, 卫健行, 常君锐. 基于改进U2Net的地基云图分割技术. 科学技术与工程, 2025 , 25 (14) : 5737 -5744 . DOI: 10.12404/j.issn.1671-1815.2308525

Kun-ning ZHAI, Zhu-mu FU, Xiu-ju WANG, Hai-bing ZHU, Jian-xing WEI, Jun-rui CHANG. Improved U2Net-Based Ground Cloud Image Segmentation Techniques[J]. Science Technology and Engineering, 2025 , 25 (14) : 5737 -5744 . DOI: 10.12404/j.issn.1671-1815.2308525

正文

收起

云是大量可见的物质的聚集,如大气中的小水滴或冰晶等,它们在地球的大气运动中扮演着重要的角色^[1-3]。因此,云的观测对天气预报精度的提升是至关重要的,现今对云的观测方式分别有人工观测、卫星云图观测^[4]和地基云图观测^[5]。人工观测需要观测人员具备一定的气象相关知识,但由于结果容易受到人的主观因素影响,且一些微小的云体变化很难通过人工观测识别出来,很容易产生错判误判等现象。卫星云图是由气象卫星拍摄所得到的气象图像,其主要观测的是云在大范围内的形状信息以及运动情况,但由于其分辨率较低,无法用于局部区域,并且对低云、卷云等背景颜色单一的云体识别率较低,因此无法用于观测小范围的云体情况^[6]。而地基云图的观测主要是通过全天空成像仪拍摄所得,其相较于卫星云图具有成本低、分辨率高等优点,地基云图观测采用由下向上的观测方式,能够更精准的拍摄出云的变化情况,并且由于拍摄背景为天空,不会对后续的检测产生影响,因此近年来基于地基云图的观测变得越来越广泛,通过地基云图来检测云体变化从而辅助提升局部区域内天气预报的准确性。

云量检测是地基云观测过程中基本要素,目前,地基云图分割技术已经取得了一定的研究进展。陈青青等^[7]提出了一种改善云图质量的方法,通过暗通道去雾算法进行图像复原,之后采用亮度直方图均衡增强图像的纹理细节,综合两种方法,改善了薄云和低能见度云图的检测准确率,但是没考虑太阳强光干扰,使得太阳强光皆被识别为云,并在检测高能见度薄云时准确率较低。Dev等^[8]提出了一种能够准确分割云图的图像分割网络。但由于模型数据量少,且未考虑太阳光,导致该网络在太阳直射条件下对云图分割效果较差。Cazorla等^[9]基于CCD相机,利用三层感知神经网络搭建内部天空成像系统,用于云量的检测。Liu等^[10]提出了一种能够检测地基云图的图像分割模型TransCloudSeg,该模型将卷积神经网络和Transformer相结合,提高了对地基云图的细节特征的提取,从而实现对图像的精准分割,实验表明,该方法准确率最高可达90.55%。王敏等^[11]通过选取经典语义分割模型,并在标准数据集上进行了训练,验证了语义分割模型在地基云图分割领域的适用性。魏文豪^[12]提出了一种基于多输入的特征融合算法,该算法由膨胀卷积、浅层特征提取模块和特征融合模块组成,并通过残差结构连接,从而实现对图像的高精度分割,但该算法在训练过程中只使用了SWINYSEG数据集,并且没有考虑太阳光干扰等问题,从而可能导致该模型的泛用性以及鲁棒性较差。Shi等^[13]提出了一种用于地基云图分割的深度卷积神经网络模型(CloudU-Net),该模型通过引入膨胀卷积,在降低模型参数量的同时有效地提取到更大范围内的特征信息,同时为获得更好的收敛效果,引入了新的优化器Lookahead。但由于在网络中大量使用膨胀卷积,使得模型在特征提取过程中易丢失特征之间的连续性,导致该模型鲁棒性较差。随后,Shi等^[14]又在CloudU-Net基础上提出了CloudU-Netv2,该算法采用了双线性上采样替代了CloudU-Net中的上采样模块,提高网络对特征信息的提取能力。然而,由于双线性上采样是一种局部插值方法,它仅考虑了邻近像素之间的线性插值关系,可能会导致一些图像细节特征的丢失,同时双线性上采样计算复杂度较高,不利于实际应用。张雪等^[15]提出了一种地基云图识别网络模型(GCRSegNet),并构建了相关数据集(GBCD),该模型是由地基云图识别网络和分割网络组合而成,可以通过结合共享特征以及分割特征从而实现地基云图的识别,在地基云图识别领域也取得了较好的效果。但是由于云体情况的复杂多变,需要庞大的原始数据集来支撑训练,而GBCD数据集在使用图像扩增的方法前每类云图平均仅有200张,可能导致模型在处理实际地基云图时出现误差。

虽然现有地基云图分割技术已有了不错的效果,但这些技术大多都没有考虑太阳强光的干扰因素的影响,并且数据量较小。因此,现通过人工标注与迁移学习相结合的方式构建标准地基云图数据集Cloud-GT,接着采用RGB颜色空间B通道分量阈值法去除太阳光干扰,最后搭建改进的U2Net网络模型以实现对地基云图的精准分割。

1 标准地基云图数据集Cloud-GT的构建

收起

1.1 初始地基云图数据集构建

本文研究的原始数据来自全天空成像仪采集的地基云图,全天空成像仪是一种用来监测天空的摄像机,具备极高的分辨率,并且具有鱼眼镜头,能够实现对天空180°的观测,非常适合对云的监测。全天空成像仪如图1所示,采集时间是每天的06:00—19:00。由于全天空成像仪获取的地基云图存在光学畸变,影响了图像中云体的大小和形状,因此本文研究采用Zhang等^[16]的相机标定法进行去畸变操作。采用Labelme标注工具对原始数据进行标注,将天空的像素值设为0,云体的像素值设为255,生成对应的二值化图像标签,然后手动标注346张图片,与开源数据集SWIMSEG(日间地基云图)相结合构建初始地基云图数据集。

1.2 标准地基云图数据集构建

由于初始地基云图数据集数据量较小,不足以满足模型的训练要求,并且由于地基云图具有多变、特征不明显和有强光干扰等特点,如果直接使用图像处理等方法扩增数据会使实际应用时的效果较差。因此本文研究中采用迁移学习与人工辅助验证相结合的方法来构建数据量更庞大的标准地基云图数据集,具体实施流程如图2所示。

本文研究选用UNet^[17]作为预训练网络,使用初始地基云图数据集进行训练,得到相应的预训练模型,将预处理后的原始图像经过预训练模型分割后得到对应的标签文件。由于在太阳光直射的情况下,网络模型会将太阳极其周边阳光强烈的区域视为云,严重影响了云量的检测,因此本文研究采用颜色通道阈值分割的方法去除太阳光干扰,对比了YCrCb颜色通道Y通道分量阈值分割法和RGB颜色通道B通道分量阈值分割法,发现后者能够更好地去除太阳光并且对云产生的影响也更小,对比图如图3所示,图3(a)是采用RGB颜色通道B通道分量阈值分割法,图3(b)是YCrCb颜色通道Y通道分量阈值分割法。采用RGB颜色通道B通道分量阈值分割法,对原始云图进行阈值分割,从而剔除太阳光的干扰,构建0-1图像。最后通过人工比对二值标签图像中的白色区域是否符合相应的原始图像的云所在区域,若符合,则用来构建标准地基云图数据集,若不符合,则使用标注工具重新进行标注后再放入标准地基云图数据集Cloud-GT中,标准地基云图数据集Cloud-GT构成如表1所示。

2 基于改进U2Net的网络模型

收起

2.1 U2Net的网络结构

U2Net是一种基于编-解码结构的显著性目标检测网络^[18],相比其他语义分割网络(如FCN、DeeplabV3++等),显著性目标检测网络的任务是将图片中感兴趣的目标或区域分割出来。由于U2Net网络深且复杂,其每次编-解码都相当于一次UNet,因此对于地基云图等高分辨率的特征提取也更为充分^[19]。故本文研究选用U2Net网络来进行对地基云图的分割,U2Net的网络如图4所示,其整体框架结构是UNet网络,外层是由11个阶段组成的,由6个编码结构(En_1~En_6)和5个解码结构组成(De_1~De_5),每层RSU(residual U-blocks)单元结构基本一致。

图4中,在前4个阶段中,使用具有从7到4的不同层的RSU模块来获得不同尺度的特征信息。在最后两个阶段,由于经过多次变换,如果继续下采样会丢失很多特征信息,因此在RSU-F中将采样层全部替换成了扩张卷积,使得中间层特征图的大小与输入特征图一致。最后部分是显著特征图融合模块,首先通过卷积和 Sigmoid 函数从不同阶段解码器生成

S s i d e (5)

、

S s i d e (4)

、

S s i d e (3)

、

S s i d e (2)

、

S s i d e (1)

特征图,为使这些特征图的尺寸与原始图像相同,使用线性插值法进行上采样操作,得到特征图Sup1~Sup5,之后将每个阶段的特征图进行Concat拼接,形成Sup0,最终使用Sigmoid函数输出图像分割结果

S f u s e

^[20]。

RSU由3个部分构成:对输入特征图进行通道转换的卷积层、用于提取特征信息的特征提取层以及由残差块组成的残差连接层^[21]。RSU的左侧是通过多层卷积运算获得不同尺度的特征编码阶段,RSU的右侧是通过上采样将解码阶段的特征图恢复到与原始图像相同的大小的解码阶段。U2Net通过RSU模块和残差模块相结合的方式提取不同大小的图像特征信息,但在检测过程中,很容易提取到非关键位置的特征信息。因此当利用U2Net分割基云图时,虽然能够检测出云体的整体轮廓,但是对薄云的分割效果较差,会出现无法识别的情况。为了能够提升网络性能,本文研究主要针对网络对地基云图特征提取能力弱的问题,对网络进行改进。

2.2 改进U2Net的网络结构

针对U2Net通过RSU提取图片不同尺度的特征信息时,容易提取到无效特征信息的问题,本文研究在RSU单元中加入通道注意力ECA(efficient channel attention)模块,由于传统的注意力机制模块在检测过程中需要对特征矩阵进行降维操作,这样虽然减小了模型计算量,但却破坏了特征通道与其权重的对应关系。而ECA网络不仅不存在降维操作,而且实现了不同通道之间的交互^[22],ECA网络在不进行降维的情况下对每个通道的进行全局平均池化操作后,自适应地确定卷积核k的大小,然后进行一维卷积,再进行Sigmoid函数操作,ECA-Net(efficient channel attention-networks)网络结构如图5所示。

将输入大小为

H × W × C

的图像进行全局平均池化操作,得到

1 × 1 × C

的特征向量,其中全局平均池化公式为

(1)

y = 1 H W ∑ a = 1 H ∑ b = 1 W x i (a, b)

式(1)中:

x i

为输入尺寸大小

H × W

的第

i

个特征图;

y

为全局特征。

使用信道维度

C

的映射自适应地确定卷积核大小

k 。

(2)

k = l o g 2 C γ + b γ o d d

式(2)中:

t o d d

为

t

最近的奇数;

C

为信道数;

b

和

γ

都为常数,其中

b = 1

γ = 2

。

利用卷积核大小为

k

的1D卷积计算信道权重,获取通道之间的相互依赖关系。1D卷积公式为

(3)

ω = σ [C 1 D k (y)]

式(3)中:

ω

为通道权重;

σ

为Sigmoid函数;

C 1 D

为1D卷积;

y

为全局平均池化后的结果;

k

为卷积核大小。

为降低特征提取单元的复杂度,本文研究将深度可分离卷积模块引入RSU模块中,深度可分离卷积模块中有两种卷积,分别为逐通道卷积和逐点卷积^[23]。当输入一个大小为3×12×12的特征图时,输出通道设为6,采用深度可分离卷积模块时所需的总参数量为5 292,而普通卷积所需的计算量为16 200,由此得出引入深度可分离卷积的特征提取单元的参数量要远低于原始特征提取单元^[24]。

本文研究将深度可分离卷积模块与ECA网络融合在一起,将从卷积层得到的特征和ECA模块获得的特征通过残差模块结合起来。这使得各层的将权重分配到更重要的特征通道上,增强了不同层特征提取单元的提取能力。两种RSU的对比如图6所示。

3 实验

收起

3.1 参数设置

本文研究的地基云图分割算法基于Python语言开发,计算机配置如下:操作系统为Ubuntu 18.04,CPU为Intel(R) Xeon(R) Platinum 8255C CPU @2.50 GHz,GPU为 RTX 2080 Ti(11 GB),系统内存为512 G。

本文网络中利用AdamW优化器优化网络,初始学习率l_r=0.001,权重衰减为1×10^-4;训练步长为360,每5次保存一次最优模型,最后,将最优模型加载到网络中并进行预测。

3.2 评价指标

由于云体状态复杂多变,为了验证本文改进的U2Net算法的优越性,将其与UNet、U2Net、FCN算法做了对比实验。采用像素准确率(P_A)、类别像素准确率(C_PA)、召回率(R_ecall)、交并比(I_OU),平均像素精度(M_PA)、F₁分数和平均交并比(M_IOU)作为地基云图分割效果的评价指标。

(4)

P A = T P + T N T P + T N + F P + F N × 100 %

(5)

C P A = T N T N + F N × 100 %

(6)

R e c a l l = T N T N + F P × 100 %

(7)

I O U = T N T N + F N + F P × 100 %

(8)

M P A = 12 (C P A 1 + C P A 2) × 100 %

(9)

F 1 = 2 C P A R e c a l l C P A + R e c a l l × 100 %

(10)

M I O U = 12 (I O U 1 + I O U 2) × 100 %

式中:TP为真实类别是正例(云体部分),且模型分割也为正例;TN为真实类别为负例(天空部分),且模型分割为负例;FP为真实类别为负例,而模型分割为正例;FN为真实类别为正例,而模型分割为负例;I_OU为模型对天空部分和云体部分分割结果和真实标签的交集与并集的比值。

4 实验结果

收起

4.1 消融实验

为评估本文所提出的基于改进U2Net算法对地基云图的分割效果,本节设计了消融实验,实验内容及评价指标如表2所示。

(1)算法1利用深度可分离卷积替换了原有的卷积,由表2可知,算法1在减小模型参数量的同时,对大部分指标均有一定的提升,C_PA提高了4.24%,M_PA提高了1.93%,M_IOU提高了0.89%,I_OU提高了1.34%,F₁提高了0.74%。

(2)算法2利用ECA模块替换了原本的RSU模块,ECA网络与传统注意力网络相比,其不仅不存在降维操作,而且实现了不同通道之间的交互,提高了重要特征通道的提取能力,由表2可知,与原算法相比算法2的各项指标均有提升,但由于参数量过多导致模型较大。

(3)本文算法将所提的ECA模块和深度可分离卷积相结合,在提高RSU有效特征提取能力的同时极大地减少了模型的参数量,从而增强了网络对地基云图的分割能力,如表2所示,相较于U2Net,模型大小被极大地缩小了,并且类别像素准确率(C_PA)提高了7.37%,平均像素精度(M_PA)提高了4.32%,平均交并比(M_IOU)提高了3.07%,交并比(I_OU)提高了4.91%,F₁分数提高2.5%。

4.2 不同分割网络对比

通过残差模块将ECA注意力机制和深度可分离卷积模块有效地结合起来,从而提出了改进U2Net的云量的检测算法,为证明本文方法相较于如FCN、UNet、U2Net常用分割网络的优越性,表明本文方法能更为精确地实现地基云图分割,试验对比结果如表3和图7所示。

本文算法通过在特征提取单元加入ECA注意力模块,增加重要特征通道的权重值,从而提高模型对关键特征的提取能力;同时引入深度可分离卷积,极大地减少了模型的参数量。由表3可知,与其他几种网络模型,本文方法的各项评价指标均最高。

为充分说明本文改进的有效性,对比查看了各网络的分割结果如图7所示。

(1)由图7(b)~图7(f)结果可知,应用FCN和UNet进行分割时易将太阳光区域识别为云,U2Net虽能较为准确地识别云所在区域,但对丝缕状云体的识别会出现遗漏的情况。

(2)由图7(b)~图7(e)可知,当天空存在较小的云体时,本文方法虽不能准确地分割出所有的云体,但对于地基云图的分割效果要明显由于其他网络模型,并且对于云体细节分割也更优秀,这为未来实现更准确的云量检测提供了思路。本文方法提高了模型对各种类型的地基云图分割精度,而且有效减少了太阳光的干扰。

5 结论

收起

(1)针对图像分割模型易将太阳强光分割为云等问题,采用RGB颜色空间B通道分量阈值法去除太阳光干扰。通过网络分割,人工校对,将全天空成像仪采集的地基云图构建为带标签的 Cloud-GT 数据集,本文研究的Cloud-GT数据集中的数据来源于海康威视全天空成像仪采集的地基云图,其具有图像尺寸一致,分辨率更高等优点,本文构建的数据集的数据量远高于SWIMSEG开源数据集,为后续研究工作奠定了很好的基础。

(2)针对网络在对地基云图分割过程中,易提取到非关键位置的特征信息以及参数量大等问题,提出了一种基于改进U2Net的地基云图分割方法,在特征提取单元加入ECA注意力模块和深度可分离卷积模块,将从卷积层和ECA模块获得的特征通过残差模块结合起来。通过增加重要特征通道的权重值,提高RSU模块对关键特征的提取能力,同时还极大地减少了参数。实验结果显示,本文方法的类别像素准确率(C_PA)、类别平均像素精度(M_PA)、平均交并比(M_IOU)、交并比(I_OU)和F₁分别达 84.03%、90.88%、84.13%、74.12%、89.59%,相较于U2Net、UNet和FCN,本文方法不仅极大地减少了模型的参数量,并有效提高了分割的精度,为建立更精准的地基云图观测系统提供了可能。

基金

收起

国家自然科学基金(62301212)
国家自然科学基金(62371182)
龙门实验室重大科技项目(231100220200)
河南省高校科技创新人才计划(23HASTIT021)
航空科学基金(20220001042002)
河南省科技研发计划联合基金(225200810007)
河南省科技研发计划联合基金(222103810036)
河南省重点研发与推广专项科技攻关(212102210153)
河南省重点研发与推广专项科技攻关(222102240009)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

Zhong

, Chen

W H

, Wu

S L

, et al. A cloud detection method based on relationship between objects of cloud and cloud-shadow for chinese moderate to high resolution satellite imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 10(11): 4898-4908.

[2]

Wang

, Wang

C H

, Shi

C Z

, et al. A selection criterion for the optimal resolution of ground-based remote sensing cloud images for cloudclassification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(3): 1358-1367.

[3]

Liu

, Duan

L L

, Zhang

, et al. Multimodal ground-based remote sensing cloud classification via learning heterogeneous deep features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(11): 7790-7800.

[4]

Hong

, Yokoya

, Chanussot

, et al. An augmented linear mixing model to address spectral variability for hyperspectral unmixing[J]. IEEE Transactions on Image Processing, 2019, 28(4): 1923-1938.

[5]

Shi

C J

, Zhou

Y T

, Qiu

, et al. CloudU-Net: a deep convolutional neural network architecture for daytime and nighttime cloud images’ segmentation[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(10): 1688-1692.

[6]

房春瑶. 基于轻量级卷积神经网络的云状和云量识别技术研究[D]. 北京: 北京工业大学, 2020.

Fang

Chunyao

. Research on cloud shape and cloud amount recognition technology based on lightweight convolutional neural networks[D]. Beijing: Beijing University of Technology, 2020.

[7]

陈青青, 李彪, 汤志亚, 等. 地基可见光全天空云图云量图像处理识别方法[J]. 气象科技, 2017, 45(6): 1006-1010.

Chen

Qingqing

, Li

Biao

, Tang

Zhiya

, et al. Image processing andrecognition method for cloud cover in ground-based visible light all sky cloud images[J]. Meteorological Technology, 2017, 45(6): 1006-1010.

[8]

Dev

, Lee

Y H

, Winkler

. Color-based segmentation of sky/cloud images from ground-basedcameras[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2016, 10(1): 231-242.

[9]

Cazorla

, Olmo

F J

, Alados-arboledas

. development of a sky imager for cloud coverassessment[J]. Journal of the Optical Society of America A, 2008, 25(1): 29-39.

[10]

Liu

, Zhang

J F

, Zhang

, et al. TransCloudSeg: ground-based cloud image segmentation with transformer[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2022(15): 6121-6132.

[11]

王敏, 李晟, 庄志豪, 等. 基于语义分割深度学习的地基云图分割方法[J]. 科学技术与工程, 2023, 23(31): 13204-13216.

Wang

Min

, Li

Sheng

, Zhuang

Zhihao

, et al. A ground cloud image segmentation method based on semantic segmentation deep-learning[J]. Science Technology and Engineering, 2023, 23(31): 13204-13216.

[12]

魏文豪. 基于深度学习的地基云图分割方法研究[D]. 天津: 河北工业大学, 2022.

Wei

Wenhao

. Research on ground cloud image segmentation met-hod based on deeplearning[D]. Tianjin: Hebei University of Technology, 2022.

[13]

Shi

C J

, Zhou

Y T

, Qiu

, et al. CloudU-Net: a deep convolutio-nal neural network architecture for daytime and nighttime cloud images’ segmentation[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 18(10): 1688-1692.

[14]

Shi

C J

, Zhou

Y T

, Qiu

. CloudU-Netv2: a cloud segmentation method for ground-based cloud images based on deep learning[J]. Neural Processing Letters, 2021, 53(4): 2715-2728.

[15]

张雪, 贾克斌, 刘钧, 等. 基于多任务学习的地基云图识别与分割技术[J]. 气象, 2023, 49(4): 454-466.

Zhang

Xue

, Jia

Kebin

, Liu

Jun

, et al. Multi task learning based ground cloud image recognition and segmentation technology[J]. Meteorology, 2023, 49(4): 454-466.

[16]

Zhang

Z Y

. A flexible new technique for cameracalibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[17]

Ronneberger

, Fischer

, Brox

. U-Net: convolutional networks for biomedical image segmentation[C]// International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer, 2015: 234-241.

[18]

王盛, 吴浩, 彭宁, 等. 改进U2-Net的太阳能电池片缺陷分割方法[J]. 国外电子测量技术, 2023, 42(2): 177-184.

Wang

Sheng

, Wu

Hao

, Peng

Ning

, et al. Improving the defect segmentation method for U2-Net solar cells[J]. Foreign Electronic Measurement Technology, 2023, 42(2): 177-184.

[19]

Qin

X B

, Zhang

Z C

, Huang

C Y

, et al. U2-Net: going deeper with nested U-structure for salient objectdetection[J]. Pattern Recognition, 2020, 106: 107404-107409.

[20]

徐凯成. 基于U-Net的胃部肿瘤分割技术[D]. 上海: 上海工程技术大学, 2021.

Kaicheng

. Gastric tumor segmentation technology based on U-Net[D]. Shanghai: Shanghai University of Engineering and Technology, 2021.

[21]

严伟健. 基于U2-net的多模态睡眠分期算法研究与应用[D]. 广州: 广东工业大学, 2022.

Yan

Weijian

. Research and application of multimodal sleep staging algorithm based on U2-net[D]. Guangzhou: Guangdong University of Technology, 2022.

[22]

Wang

Q L

, Wu

B G

, Zhu

P F

, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR). New York: IEEE, 2020: 13-19.

[23]

Chollet

. Xception: deep learning with depthwise separable convolutions[C]// IEEE Conference on Computer Visionand Pattern Recognition(CVPR). New York: IEEE, 2017: 1800-1807.

[24]

覃本学, 沈疆海, 马丙鹏, 等. 基于Debseg-Net的岩屑图像语义分割[J]. 科学技术与工程, 2022, 22(29): 12927-12935.

Qin

Benxue

, Shen

Jianghai

, Ma

Bingpeng

, et al. Semantic segmentation of rock debris images based on Debseg-Net[J]. Science Technology and Engineering, 2022, 22(29): 12927-12935.

2025年第25卷第14期

PDF下载

378

152

引用本文

BibTeX

文章信息

doi: 10.12404/j.issn.1671-1815.2308525

接收时间：2023-11-01
首发时间：2025-07-09
出版时间：2025-05-18

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-11-01
修回日期：2025-02-12

基金

国家自然科学基金(62301212)

国家自然科学基金(62371182)

龙门实验室重大科技项目(231100220200)

河南省高校科技创新人才计划(23HASTIT021)

航空科学基金(20220001042002)

河南省科技研发计划联合基金(225200810007)

河南省科技研发计划联合基金(222103810036)

河南省重点研发与推广专项科技攻关(212102210153)

河南省重点研发与推广专项科技攻关(222102240009)

作者信息

1. 河南科技大学信息工程学院, 洛阳 471000

2. 凯迈(洛阳)测控有限公司, 洛阳 471000

通讯作者:

*付主木(1974—),男,汉族,湖北仙桃人,博士,教授。研究方向:混合动力汽车等复杂控制系统建模、控制与优化。E-mail:fuzhumu@haust.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kxjsygc/CN/10.12404/j.issn.1671-1815.2308525

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT