遥测遥控

数据类型	空间分辨率/(°)	时间分辨率/min
三维雷达数据	0.01	6
FY4B卫星数据	0.04	15
ERA5模式数据	0.25	60
DEM数据	0.01	—
标签数据	0.01	6
Posh数据	0.01	6

数据类型	空间分辨率/(°)	时间分辨率/min
三维雷达数据	0.01	6
FY4B卫星数据	0.04	15
ERA5模式数据	0.25	60
DEM数据	0.01	—
标签数据	0.01	6
Posh数据	0.01	6

	识别负例	识别正例
真实负例	TN(True negative)	FP(False positive)
真实正例	FN(False negative)	TP(True positive)

	识别负例	识别正例
真实负例	TN(True negative)	FP(False positive)
真实正例	FN(False negative)	TP(True positive)

方法经典STLSTM	TMC-STLSTM	MDFFM	UCUNet	IoU 0.26	F1-score 0.44
TMC方案	√			0.62	0.54
TMC-MDFFM方案	√	√		0.79	0.71
TMC-MDFFM-UCUNet方案	√	√	√	0.84	0.86

方法经典STLSTM	TMC-STLSTM	MDFFM	UCUNet	IoU 0.26	F1-score 0.44
TMC方案	√			0.62	0.54
TMC-MDFFM方案	√	√		0.79	0.71
TMC-MDFFM-UCUNet方案	√	√	√	0.84	0.86

方法	雷达数据	FY4B卫星数据	模式数据	DEM数据	IoU	F1-score
雷达数据	√				0.31	0.29
FY4B方案	√	√			0.52	0.47
FY4B-ERA5方案	√	√	√		0.69	0.71
FY4B-ERA5-DEM方案	√	√	√	√	0.88	0.85

方法	雷达数据	FY4B卫星数据	模式数据	DEM数据	IoU	F1-score
雷达数据	√				0.31	0.29
FY4B方案	√	√			0.52	0.47
FY4B-ERA5方案	√	√	√		0.69	0.71
FY4B-ERA5-DEM方案	√	√	√	√	0.88	0.85

方法	平原地区	复杂地形地区
IoU	F1-score	IoU	F1-score
HINet	0.81	0.83	0.85	0.87
Causal LSTM	0.69	0.79	0.75	0.79
SimVP	0.73	0.65	0.81	0.74
N-Bearts	0.76	0.72	0.64	0.68

方法	平原地区	复杂地形地区
IoU	F1-score	IoU	F1-score
HINet	0.81	0.83	0.85	0.87
Causal LSTM	0.69	0.79	0.75	0.79
SimVP	0.73	0.65	0.81	0.74
N-Bearts	0.76	0.72	0.64	0.68

HINet：一种面向冰雹识别的多源数据融合网络

PDF下载

张小雯 ¹^,² , 郁培雯 ³ , 商建 ⁴^,⁵^,⁶ , 华珊 ¹^,² , 张启绍 ²

遥测遥控 | 人工智能技术 2024,45(4): 45-56

收起

遥测遥控 | 人工智能技术 2024, 45(4): 45-56

HINet：一种面向冰雹识别的多源数据融合网络

全屏

张小雯¹^,², 郁培雯³, 商建⁴^,⁵^,⁶, 华珊¹^,², 张启绍²

作者信息

¹国家气象中心　北京　100081

²安阳国家气候观象台　安阳　455000

³南京信息工程大学人工智能学院　南京　210044

⁴国家卫星气象中心（国家空间天气监测预警中心）　北京　100081

⁵许健民气象卫星创新中心　北京　100081

⁶中国气象局遥感卫星辐射测量和定标重点开放实验室　北京　100081

张小雯　1983年生，硕士，高级工程师。

郁培雯　2001年生，硕士研究生。

商建　1983年生，博士，正高级工程师。

华珊　1993年生，博士研究生，高级工程师。

张启绍　1983年生，本科，高级工程师。

HINet： A Multi-source Data Fusion Network for Hail Identification

Xiaowen ZHANG¹^,², Peiwen YU³, Jian SHANG⁴^,⁵^,⁶, Shan HUA¹^,², Qishao ZHANG²

Affiliations

^1.National Meteorological Center, Beijing 100081, China

^2.Anyang National Climatological Observatory, Anyang 455000, China

^3.School of Artificial Intelligence, Nanjing University of Information Science & Technology, Nanjing 210044, China

^4.National Satellite Meteorological Center (National Centre for Space Weather), Beijing 100081, China

^5.Innovation Center for FengYun Meteorological Satellite (FYSIC), Beijing 100081, China

^6.Key Laboratory of Radiometric Calibration and Validation for Environmental Satellites, Beijing 100081, China

出版时间: 2024-07-15 doi: 10.12347/j.ycyk.20240520002

文章导航

摘要

收起

冰雹天气具有突发性和局地性强，以及破坏力大的特点。尽管地面自动站、雷达和卫星等获取的观测资料在冰雹识别中发挥了一定的作用，但单一观测资料的局限性导致冰雹识别虚警率较高和准确率较低。因此，亟需构建基于多源高分辨率观测的冰雹识别技术。本文提出了一种面向冰雹识别的多源数据融合网络，该深度学习方法利用时空特征提取模块、多源数据特征融合模块和UCUNet（U Connection Unet，U形连接卷积神经网络）识别模块，充分挖掘冰雹发生时FY4B（风云四号B星）、天气雷达和数值模式等多源数据的时空特征，并创新地加入地形高度、坡度、坡向等作为冰雹识别因子。为评估所提网络方法的性能，本文进行了系列实验，并将实验结果与真实标签数据进行对比。结果显示，HINet（Hail Identification Net，冰雹识别网络）能够充分利用多源数据，在复杂地形条件下有效改善冰雹识别结果，在冰雹研究和识别中具有较高的准确性和实用性。

关键词

冰雹识别 / 深度学习 / 时空特征提取 / 多源数据特征融合 / 复杂地形

Abstract

收起

Hailstorms are characterized by their suddenness, localized nature and high destructive power. Although observations acquired by ground-based automatic stations, radars and satellites play a certain role in hail identification, the limitation of single observation data leads to a high false alarm rate and low accuracy rate in hail identification. Therefore, there is an urgent need to construct a hail identification technology based on multisource high-resolution observation. In this paper, a multi-source data fusion network for hail recognition is proposed. The deep learning method utilizes the spatio-temporal feature extraction module, the multi-source data feature fusion module, and the UCUNet (U Connection Unet) recognition module to fully exploit the spatio-temporal features of the multi-source data such as FY4B (FengYun-4B star) satellites, weather radar, and numerical models when hail occurs, and innovatively adds the topographic height, slope, and slope direction as hail recognition factors. In order to evaluate the performance of the proposed network method, this paper conducts a series of experiments and compares the experimental results with real labeled data. The results show that HINet (Hail Identification Net) can make full use of multi-source data and effectively improve the hail identification results under complex terrain conditions. The network model proposed in this paper has high accuracy and practicality in hail research and identification.

Key words

Hail identification / Deep learning / Spatio-temporal feature extraction / Multi-source data feature fusion / Complex terrain

引用本文

张小雯, 郁培雯, 商建, 华珊, 张启绍. HINet：一种面向冰雹识别的多源数据融合网络. 遥测遥控, 2024 , 45 (4) : 45 -56 . DOI: 10.12347/j.ycyk.20240520002

Xiaowen ZHANG, Peiwen YU, Jian SHANG, Shan HUA, Qishao ZHANG. HINet： A Multi-source Data Fusion Network for Hail Identification[J]. Journal of Telemetry, Tracking and Command, 2024 , 45 (4) : 45 -56 . DOI: 10.12347/j.ycyk.20240520002

正文

收起

0　引言

收起

冰雹灾害天气具有小尺度、生命史短和突发性等特点。近年来，冰雹灾害天气频发，例如：2021年6月25日，北京曾降下直径5 cm的大冰雹；2024年4月27日，广东增城曾降下直径达10 cm的大冰雹。这些都给车辆、房屋、农作物等带来了严重损害，对工农业生产和人民生命安全造成了极大威胁。因此，实现对冰雹的精细化识别具有极其重要的意义。

目前，除了人工识别外，冰雹识别的主流方法包括统计学方法、机器学习方法和深度学习方法。在统计学方法方面，Le等^[1]利用GPM(Global Precipitation Measurement，全球降水测量)双频星载天气雷达算法开发了冰雹识别产品；徐小红等^[2]进一步利用卫星数据和云微物理特征进行冰雹识别和预警；冯琬等^[3]则采用阈值法算法与分裂窗技术，较准确地识别了强对流云系并建立了相关识别指标。尽管上述产品在准确性和提前预警能力方面表现较好，但在泛化能力和地区适应性方面存在较大局限。为了提高冰雹识别准确率，Zhang等^[4]基于综合要素利用模糊逻辑开发了一种冰雹识别算法。研究表明：相比单一要素识别算法，利用多源资料进行冰雹识别可以较好地提高冰雹识别准确率，但统计学方法在捕捉冰雹的非线性特征和处理多源数据间复杂相互作用方面仍存在不足。

机器学习方法在处理多源数据上具有显著优势。Shi等^[5]利用单偏振雷达数据，通过判断冰雹发生时雷达回波的有界弱回波区构建了识别算法；袁凯等^[6]采用决策树算法结合特征量阈值和湿球温度高度因子的冰雹识别算法，有效降低了虚警率；Li等^[7]利用双偏振雷达数据，采用机器学习方法构建了基于雷达偏振量的冰雹识别模型；Han等^[8]基于风暴识别、跟踪和预测技术，提出了ETITAN(Enhanced Thunderstorm Identification, Tracking, and Nowcasting，增强雷暴的识别、跟踪和临近预报)算法，提高了复杂风暴环境下冰雹的监测性能。

机器学习方法高度依赖数据质量和数量、技术参数设定，并且在不同应用环境下的泛化能力有限，而深度学习方法则在处理复杂和高维数据方面展现出潜力。Gu等^[9]利用基于Unet的深度图像分割网络进行冰雹识别，取得了良好的识别结果，但由于训练数据集有限，该方法在实际操作中存在较高的误报率。Wang等^[10]提出了一种基于长短期记忆网络的冰雹天气智能识别和准确分类的模型，实现了高精度的冰雹识别，然而该网络模型的编码器-解码器结构可能导致信息损失和模糊化。Liu等^[11]提出了DAM-EfficientNet(Dual Attention Module EfficientNet，双注意力模块高效网络)模型，取得了较高的冰雹识别精度，但同样面临训练数据集有限、泛化能力和地区适应性不足的问题。刘新伟等^[12]基于C波段雷达回波资料，构建并应用随机森林模型对冰雹及其伴随的强对流天气进行了分类识别及预报，该方法准确性较高，但需要在样本量、数据质量、模型优化、预报时效等方面进一步加强。Gurung等^[13]利用卷积神经网络(Convolutional Neural Network，CNN)从雷达图像中提取深层特征进行冰雹识别，尽管取得了良好效果，但训练数据集的可靠性不足。此外，张晓晖等^[14]提出了一种强对流天气智能识别网络模型，可以自动化、定量化地分析强对流天气，然而在区分非强对流天气方面仍存在困难。

气象系统的复杂性和动态性使得数据的时空相关性分析更加复杂。因此，需要考虑多源数据和环境因素，综合利用这些信息来开发更复杂和综合的冰雹识别模型，以提高识别的准确性和可靠性。本文提出了一种基于HINet的冰雹识别方法，通过深入研究三维雷达反射率因子数据、FY4B卫星数据与冰雹之间的关系，并结合ERA5(第五代大气再分析数据集)模式数据和DEM(数字高程模型)数据，构建了基于三维大气时空信息的冰雹识别模型。HINet在整合多源数据和建立有效的特征表示方面发挥着关键作用，为冰雹研究和预报提供了强大的工具。

本文的主要创新点为：

① 提出一种名为HINet的网络算法，其包括时空特征提取模块、多源数据特征融合模块和UCUNet冰雹识别模块，旨在实现基于多源数据深度融合的冰雹识别。

② 时空特征提取模块TMC-STLSTM(Two Memory Cells-STLSTM，两个记忆单元的时空长短期记忆)在STLSTM(Spatial-Temporal Long Short-Term Memory，时空长短期记忆)中融入了两个记忆单元，从而更精确地捕捉数据的时空相关性和多源数据之间的关联性，以增强对冰雹发生时复杂的非线性时空过程的理解和识别能力，提高了对冰雹天气的识别准确性和稳定性。

③ 提出了UCUNet网络。通过将Unet(U形卷积神经网络)网络中的跳跃连接机制替换为嵌入U型连接模块(U Connection Module, UCM)，形成了UCUNet网络，实现了特征的顺畅传递，克服了原始跳跃连接的不足。通过UCUNet识别网络，可以加强冰雹发生时多源资料的时空特征提取，从而可以更好地确定冰雹发生的精确时间和位置。

1　方法

收起

1.1　HINet网络整体结构

单一数据源易受噪声、故障等影响，而综合利用多源数据可以提高数据的可靠性和准确性。因此，HINet网络采用三维雷达数据、FY4B卫星数据、数值模式、地形等多源数据作为输入，综合分析冰雹发生时三维大气的多尺度特征。采用MDFFM(Multi-source Data Feature Fusion Module，多源数据特征融合模块)提取多源数据的时空特征，融合多源异构数据的信息，采用UCUNet识别模块进行冰雹识别，最终实现基于多源数据深度融合的冰雹识别。具体流程为：将研究区域内冰雹发生时天气雷达、FY4B卫星和ERA5模式等多源数据进行时间序列预处理，如图1所示。首先将多源数据输入时空特征提取模块，设定与时间序列数量相匹配的TMC-STLSTM网络，以提取多要素数据的时空相关性并捕捉要素之间的关联，数据会被转化为不再具有时间维度的特征图。这些特征图与DEM数据一起进入多源数据特征融合模块，该模块全面捕捉并融合冰雹发生时的多源异构数据的时空特征。UCUNet识别模块对多源数据特征融合模块的输出进行冰雹识别，得知该区域内哪些位置发生了冰雹天气。

1.2　时空特征提取模块

时空特征提取模块会根据输入的用例数据的时间片大小，设置对应数量的TMC-STLSTM网络。该网络是在STLSTM基础上引入了两个记忆单元，以增强对冰雹发生时复杂时空过程的理解和识别能力。这一设计不仅克服了STLSTM在处理二维模式数据和捕捉高维特征方面的局限性，还提高了模型对多源数据之间时空相关性和气象要素关联性的捕捉能力。

STLSTM网络具有双存储器结构，如图2所示。以第l层为例，

存储的是当前网络层上一个时间片t-1的细胞状态，细胞状态中含有时间相关性特征；

存储的是上一层网络对t时间片数据的记忆，如图中黑色箭头流动所示，该存储器通过增加循环过渡深度来增强其短期建模能力，使得网络能够更好地处理不同时间点的数据。传统LSTM网络流程为：拿到上一个时间片t-1的气象信息

和当前时间片t的三维雷达数据等输入的用例数据X_t，然后经过处理，得到该网络层当前时间片t的隐藏状态

作为输出。其他层以此类推，第一层的输入是当前时间片t的用例数据，最后一层的输出是用例数据经过该模块处理后的最终结果。

TMC-STLSTM通过引入两个循环记忆单元

和

，分别替代了STLSTM原有的遗忘门。

专注于存储“Item记忆”，即每个时间片的不同用例数据，而

则负责存储个体之间的“关系记忆”，即用例数据中每个要素在不同时间点之间的相关性，以及不同用例数据的气象要素之间的相互影响。如图3所示，本文创新地将个体经验的存储与它们之间的关联关系分离，并通过一个独特的自注意力机制(Self-Attention，SA)算子来实现这一理念。

这个SA算子通过点积得到元素之间的相似度并匹配权重，它代表了任意记忆元素对之间潜在的高阶关系。最终，这两个记忆单元被整合成一个TMC网络，既能够存储信息，又能够进行关系推理，显著增强了模型处理复杂时空过程的能力。TMC的关键运算公式如下：

x_t=f₁(X_t)⊗f₂(X_t)(1)

x_t是两个记忆单元提取X_t的特征结果。⊗表示张量积，用于生成一个更高维度的张量。f₁(X_t)是

的Write写操作的结果，用于更新“Item记忆”。f₂(X_t)是

的Read读操作的结果，用于获取个体之间的“关系记忆”。“Item记忆”构成了“关系记忆”的基础，

对

的“Item记忆”进行转移操作，转移公式如下：

（2）

V_f是一个函数，用于对

进行处理，以获得一个与

相关的调整向量。g₁是一个函数，用于对调整向量进行处理，以获得一个权重向量。a₃是一个可调参数，用于控制权重向量对记忆的调整程度。SA运算公式如下：

（3）

Q，K，V是特征图的不同表示。d_k表示键向量的维度，作为一个缩放因子，用于控制注意力分数的幅度。TMC-STLSTM的关键运算公式如下：

（4）

表示在第l层中的记忆单元的状态，用于存储网络在处理输入的用例数据过程中的长期记忆信息。

表示遗忘门的输出，控制当前时间片的记忆状态需要从上一时间片的记忆状态中保留多少信息。i_t表示输入门在时间片的激活值，用于控制当前时间片要添加到记忆单元中的新信息量，新信息是通过对当前输入数据和前一时间片的隐藏状态进行非线性变换生成的。g_t表示候选记忆单元在当前时间片t的激活值，用于评估新信息的重要性。⊙表示Hadamard乘积运算。这件组件在STLSTM中用于管理信息流动和记忆更新。

（5）

表示第l层在时间片t的记忆单元的状态，用于存储和管理该层在当前时间片的状态信息。

表示对上一层记忆状态

选择性保留下来的部分。

表示当前时间片的候选记忆单元的更新部分，决定了哪些新的记忆会被加入到当前记忆状态中。得到更新后的记忆单元状态将在下一个时间片被进一步更新和传递。

1.3　UCUNet识别模块

UCUNet识别模块通过UCUNet网络的编码和解码结构，准确提取和还原多源数据的时空特征，从而精确确定研究区域内的冰雹情况。为全面捕捉和融合多源异构数据的时空特征，在UCUNet识别模块之前加入多源数据特征融合模块MDFFM，如图4所示，其中数据以通道数、高度和宽度的形式表示。

为提高网络性能，本研究在UNet网络中引入了三个跳跃连接结构，并特别设计了U型连接模块，三个UCM模块的深度分别为7、5和3。UCU-Net网络采用这种UCM结构，接收来自多源数据特征融合模块的数据，进行编码和解码，从大小为16×128×128的输入数据中提取并输出1×128×128的特征图。编码阶段通过卷积和池化操作提取空间特征，而采用的UCM结构可以弥补原始跳跃连接的不足。如图5所示，UCM结构利用Conv2d+BN+Relu组件进行卷积、批归一化和Relu激活函数操作，以提取特征并引入非线性，接着使用UpConv2d+BN+Relu组件进行反卷积操作，以恢复特征的空间尺寸。图中的k3表示卷积核的大小为3×3；s1表示在卷积操作中每次滑动卷积核的步长为1；L=3表示UCM结构中相应组件序列被重复堆叠3次。

2　实验与结果

收起

2.1　研究区域与数据资料

选取2022年2月至2024年4月(25°N~35°N和105°E~125°E)分别作为冰雹识别算法的实验时间及实验范围。区域选择的原因是主要考虑该地区的雷达、卫星等观测网较为稠密，冰雹的样本会更多，模型不易过拟合；另外，影响该地区天气系统的因素较为复杂，因此可以构建出更有普适性的冰雹识别模型。

在HINet网络识别冰雹的过程中，将用到表1数据。

三维雷达数据提供了21层不同高度的雷达反射率因子，这些因子可作为识别和预报强对流天气的特征输入。雷达数据能反映冰雹的三维结构，特别是有界弱回波区，指示了强烈的上升运动和冰晶的碰并生长过程。该数据来自国家气象部门的雷达设备。FY4B卫星的多通道红外亮温差，如分裂窗、水汽通道等，可作为识别冰雹发生云的特征。这些数据覆盖高中低层大气水汽和长波红外通道。ERA5模式数据提供了冰雹发生和发展所需的环境条件因子，该数据来自欧洲中期天气预报中心的全球大气再分析产品。地形DEM数据提供了海拔、坡度、曲率、坡向和流向等5项要素，这些地理信息可反映冰雹易发生的山区特征，该数据源自地理空间数据云(GS Cloud)。

由于多源数据的时空分辨率不同，对FY4B数据、ERA5模式数据以及DEM地形数据，通过最邻近插值法将它们的时间分辨率统一为6 min，空间分辨率统一为1 km。选取冰雹发生时刻及之前的共20个时间窗的三维雷达数据、FY4B卫星数据、ERA5模式数据和DEM地形作为模型的输入。

2.2　损失函数

在HINet网络模型中，采用了二分类交叉熵损失函数(Binary Cross-Entropy Loss，BCE Loss)作为模型优化的目标函数。该函数适用于冰雹单体的二值分类问题，通过计算模型输出的概率值与真实标签(0或1)之间的交叉熵，量化模型识别结果与实际值之间的差异。交叉熵损失函数的计算公式如下：

（6）

其中，N是样本的总数，y_i是第i个样本的真实标签(0或1)，p_i是第i个样本被预测为正类(即标签为1)的概率。在模型训练过程中，交叉熵损失函数在神经网络中的运作流程概括如下：冰雹单体的特征矩阵被输入到神经网络的输入层，然后经过多个隐藏层的复杂计算，神经网络最终在输出层产生概率矩阵，表示该单体区域内发生“冰雹”或“非冰雹”的概率。接下来，将输出层的矩阵与冰雹单体内的真实标签(0或1)进行交叉熵计算，得到交叉熵损失。这个损失值会通过反向传播算法，反馈到神经网络的各个参数上，指示这些参数应该如何调整以降低损失，这样下一次识别时，输出的概率值能够更接近真实标签。如此反复迭代优化，直到模型在冰雹单体分类任务上逐渐达到更准确的预测结果。

2.3　评价指标

为评估HINet网络的性能，以冰雹标签数据为基准，计算识别区域内所有格点的识别数据与标签数据之间的交并比(Intersection over Union，IoU)和F1-score，有效评估网络模型在识别冰雹天气方面的准确性和全面性。

IoU用于衡量网络模型对冰雹区域的定位准确性。具体公式如下：

（7）

其中，A表示HINet网络识别出的冰雹区域面积；B表示真实冰雹区域的面积。AÇB是冰雹区域的识别结果与真实位置相交区域的面积，而AÈB是冰雹区域的识别结果与真实位置所覆盖的总区域面积。IoU的取值范围在0~1之间，1表示完全重叠，0表示没有重叠。IoU越高，表示HINet网络的识别结果与真实结果之间的重叠程度越好。

F1-score用于评估网络模型对冰雹和非冰雹样本的分类准确性和全面性，其计算过程的第一步是计算分类的混淆矩阵。如表2所示，TN表示真阴性(HINet网络正确地将非冰雹识别为非冰雹)，FP表示假阳性(HINet网络错误地将非冰雹预测为冰雹)，FN表示假阴性(HINet网络错误地将冰雹预测为非冰雹)，TP表示真阳性(HINet网络正确地将冰雹预测为冰雹)。

（8）

（9）

（10）

其中，Precision表示网络模型正确识别为冰雹的样本数占所有识别为冰雹的样本数的比例，Recall表示网络模型正确识别为冰雹的样本数占所有真实冰雹样本数的比例。F1-score的取值范围在0~1之间，较高的F1-score值表示HINet网络在识别冰雹天气时具有较好的平衡性，即能够同时兼顾准确率和召回率。

2.4　实验参数设置

实验基于Ubuntu系统和Pytorch框架，HINet网络运行在11 GB显存的NVIDIA 2080Ti上。训练过程使用Adam作为优化器，所有网络模型训练75个Epochs，Batch size设置为32，初始学习率为0.001，采用二分类交叉熵损失函数。

研究基于2022年2月至2024年4月期间收集的数据。其中，2023年的数据作为测试集，共计715个样本。剩余数据用作训练集，包含1 592个样本。

2.5　实验方案

2.5.1　消融实验方案

为验证模块设计和多源数据在冰雹天气识别中的正向作用，拟进行两种实验：一为模块消融实验，是在冰雹识别网络中逐次加入时空特征提取模块(TMC方案)、多源数据特征融合模块(TMC-MDFFM方案)和UCUNet识别模块(TMC-MDFFM-UCUNet方案)开展识别实验；二为数据消融实验，是在雷达数据基础上，逐步叠加FY4B卫星数据(FY4B方案)、ERA5模式数据(FY4B-ERA5方案)和DEM数据(FY4B-ERA5-DEM方案)，来对比不同方案下的识别效果。

2.5.2　对比实验方案

为评估网络模型的性能，以冰雹标签数据为基准，对比HINet的识别结果与ConvLSTM(Convolutional Long Short-Term Memory network，卷积长短期记忆神经网络)、Causal LSTM(Causal Long Short-Term Memory network，因果长短期记忆网络)、SimVP(Simultaneous Video Prediction，同时视频预测)和N-BEATS(Neural Basis Expansion Analysis Time Series，神经基展开分析时间序列)的识别结果。通过客观比较不同网络模型对研究区域的冰雹识别能力，全面评估HINet在冰雹天气识别中的准确性和可靠性，并明确其优势和不足。

2.5.3　敏感性和可解释性实验方案

为了量化多源多要素数据在冰雹识别中的作用，采用Deep LIFT(Deep Learning Important Fea-Tures，深度学习的重要特征)算法进行分析。该算法能精确评估每个数据要素对冰雹识别的贡献，揭示不同数据源和要素间的潜在关联，这有助于提升网络模型的识别性能和应用效果。

2.6　实验结果与分析

实验的标签数据是根据中国气象局气象探测中心业务产品中的Posh(大冰雹概率指数)、total_vil(垂直液态积分含水量)和highest_dbz(最大反射率所在高度）等指标来确定。当Posh大于50、total_vil>50 kg/m²同时highest_dbz>6 km，认为该单体为冰雹单体，当单体的highest_dbz高度下降至地面时，认为冰雹发生，将标签设为1。对于其他位置，将标签设为0。而Posh数据仅通过Posh指数来确定冰雹的存在。

2.6.1　消融实验

模型首先对相关区域进行空间定位和标记。如图6所示，小三角形表示已识别的冰雹发生区域。随后，模型对每个已标记的单体区域进行二值分类分析，将已发生冰雹的区域标记为1，未发生冰雹的区域标记为0，作为实验的标签数据。

在网络模型中逐次加入时空特征提取模块（TMC方案）、多源数据特征融合模块（TMC-MDFFM方案）和UCUNet识别模块（TMC-MDFFM-UCUNet方案），对比前后的识别效果。模块消融实验结果如表3所示。

从表3可以看出，经典的STLSTM方案对研究区域的冰雹识别能力准确率较低，其IoU为0.26，F1-score为0.44。这是由于冰雹天气是一个复杂的时空过程，简单的STLSTM识别较为困难。随后，引入了TMC方案，其IoU相较于经典STLSTM提高了0.36，显示出明显的改进效果。接着，在TMC方案的基础上融合了MDFFM模块，提高了IoU和F1-score的性能。这是因为MDFFM模块能够有效地融合多源异构数据的特征信息，使得模型能够充分理解冰雹发生时的复杂时空过程。最后，将UCUNet识别模块引入TMC-MDFFM方案，进一步提高了F1-score，并达到了最佳的识别性能。这是因为UCUNet识别模块充分利用了多源数据的时空特征，并通过编码和解码过程来实现对冰雹天气的识别。

由图7(a)~图7(f)可以发现，随着逐步引入时空特征提取模块、多源数据特征融合模块和UCUNet识别模块，冰雹识别的能力逐渐接近真实标签数据。同时，制作的真实标签数据相较于单独使用Posh标签的数据，具有更少的突变和波动。

在雷达数据基础上，逐步叠加FY4B卫星数据(FY4B方案)、ERA5模式数据(FY4B-ERA5方案)和DEM数据(FY4B-ERA5-DEM方案)。数据消融实验结果如表4所示。

从表4可以看出，仅使用雷达数据方法的识别能力有限，其IoU为0.31，F1-score为0.29。这是因为单一的雷达数据无法提供足够的信息来准确识别冰雹。引入FY4B卫星数据的FY4B方案，识别能力得到了改善。这是因为FY4B卫星数据可以提供更广阔的空间范围和更高的分辨率，从而增加了对冰雹的探测能力。添加ERA5模式数据的FY4B-ERA5方案，识别能力继续提高。这是因为ERA5模式数据可以提供更全面的冰雹发生时的气象特征。最后，引入DEM数据的FY4B-ERA5-DEM方案，IoU和F1-score提升效果显著，分别达到了0.88和0.85。这是因为DEM数据提供了地形信息，这些信息对冰雹的形成和分布有着重要影响。

由图8(a)~图8(f)可以发现，随着雷达数据逐步叠加FY4B卫星数据、ERA5模式数据和DEM数据，研究区域冰雹识别结果逐渐接近真实标签数据。

2.6.2　对比实验

为了评估网络模型的性能，对研究区域展开对比实验，将HINet网络的识别结果与Causal LSTM^[14]、SimVP^[15]和N-Bearts^[16]结果进行对比，结果如表5所示。

由表5可以看出，HINet网络在复杂地形地区和平原地区的冰雹识别效果都优于其他方法，表明HINet网络具有较高的性能和鲁棒性。这是因为HINet网络充分学习和利用冰雹发生时的多源数据的时空特征，并采用了先进的深度学习算法和网络架构进行准确识别。

由图9和图10可见，在不同时刻，比较不同的网络模型，HINet网络模型对冰雹天气识别的结果和冰雹标签数据更接近，验证了HINet网络模型在冰雹天气识别中的优越性和应用潜力。

2.6.3　敏感性和可解释性实验

为了量化多源多要素数据在冰雹识别中的作用，采用Deep LIFT方法^[17]对各变量在冰雹识别中的贡献进行了细致的分析，实验结果如图11所示。

根据图4中多源数据特征融合模块的数据通道数，将图11中的横坐标与各个数据对应起来：0号代表三维雷达数据，1号~5号代表FY4B数据，6号~10号代表ERA5模式数据，11号~15号代表DEM数据，最后，16号代表HINet网络的识别数据。相对于平原地区，DEM数据在复杂地形地区的冰雹识别中的贡献度相对较高。这是因为在复杂地形下，冰雹识别面临着一些困难，地形的起伏和山脉的阻挡可能导致雷达和卫星数据的遮挡、变形或失真。此外，地形对气象场也会有影响，如地形的高度变化会导致气温、湿度和风速等气象要素变化。

3　结束语

收起

文中构建了冰雹识别HINet网络，能够对研究区域进行冰雹识别。结合消融实验和其他系统性评估分析得到以下结论：基于深度学习算法^[18]和先进网络架构的HINet网络，在雷达数据基础上引入了FY4B卫星数据、ERA5模式数据和DEM数据，为模型提供了更准确的背景和环境信息。通过结合两个记忆单元和STLSTM进行时空特征提取，增强了对冰雹发生时复杂时空过程的分析能力。此外，HINet引入了多源数据特征融合模块和UCUNet识别模块，精确地捕捉了数据的时空相关性和多源数据之间的关联性，提高了对冰雹天气的识别准确性。相比于其他方法，HINet网络能够有效地提取冰雹特征并准确分类识别，同时考虑地形影响，可实现在不同地形条件下准确识别冰雹，表现出高性能和高鲁棒性。冰雹识别是一个极为复杂的过程，本文模型尚未考虑季节性问题。在未来的研究中，将更深入地探索季节性冰雹研究策略，并将其纳入模型设计中，以期进一步提升识别准确性。

基金

收起

国家重点研发计划项目(2022YFC3004104)
中国气象局创新发展专项项目(CXFZ2024J001)
中国气象局水文气象重点开放基金项目(23SWQXZ001)
风云卫星应用先行计划2023(FY-APP-ZX-2023.01)
安阳国家气候观象台开放研究基金课题(AYNCOF202401)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

, CHANDRASEKAR

. Hail identification algorithm for DPR onboard the GPM satellite[J]. IEEE Transactions on Geoscience and Remote Sensing, 2023, 61(1):1-14.

[2]

徐小红, 余兴, 刘贵华, 等. 冰雹云卫星早期识别与自动预警[J]. 大气科学, 2022, 46(1): 98-110.

Xiaohong

, YU

Xing

, LIU

Guihua

, et al. Early identification and automatic warning of hail clouds by satellite[J]. Chinese Journal of Atmospheric Sciences, 2022, 46(1): 98-110.

[3]

冯琬, 丛显辉, 张博. 辽宁开原7·3强对流天气的卫星识别分析技术[J]. 科技与创新, 2022(15): 22-24.

[4]

ZHANG

, LI

, LIU

, et al. A hail weather radar recognition algorithm based on fuzzy logic[J]. Journal of Applied Meteorology, 2014, 25(4): 415-426.

[5]

SHI

, WANG

, et al. Radar-based automatic identification and quantification of weak echo regions for hail nowcasting[J]. Atmosphere, 2019, 10(6): 325.

[6]

袁凯, 李武阶, 庞晶. 基于决策树算法的鄂东地区冰雹识别技术[J]. 应用气象学报, 2023, 34(2): 234-245.

YUAN

Kai

, LI

Wujie

, PANG

Jing

. Hail identification technology in Eastern Hubei based on decision tree algorithm[J]. Journal of Applied Meteorological Science, 2023, 34(2): 234-245.

[7]

, ZHANG

, WANG

, et al. Research on hail mechanism features based on dual-polarization radar data[J]. Atmosphere, 2023, 14(12): 1827.

[8]

HAN

, FU

, ZHAO

, et al. 3D convective storm identification, tracking, and forecasting—An enhanced TITAN algorithm[J]. Journal of Atmospheric and Oceanic Technology, 2008, 26: 719-732.

[9]

, ZHOU

, LIU

, et al. Preliminary research and application of artificial intelligence technology in nowcasting operations in Chongqing[J]. Meteorology, 2020, 46(10): 1286-1296.

[10]

WANG

, CHEN

, LIU

, et al. Toward automated hail disaster weather recognition based on spatio-temporal sequence of radar images[J]. Demonstratio Mathematica, 2023, 57(1): 20230262.

[11]

LIU

, DAI

, CHEN

, et al. A study on the DAM-EfficientNet hail rapid identification algorithm based on FY-4B_AGRI[J]. Scientific Reports, 2024, 14: 3505.

[12]

刘新伟, 蒋盈沙, 黄武斌, 等. 基于雷达产品和随机森林算法的冰雹天气分类识别及预报[J]. 高原气象, 2021, 40(4): 898-908.

LIU

Xinwei

, JIANG

Yingsha

, HUANG

Wubin

, et al. Classified identification and nowcast of hail weather based on radar products and random forest algorithm[J].Plateau Meteorology, 2021, 40 (4): 898-908.

[13]

GURUNG

, PENG

, MASKEY

, et al. Deep feature extraction and its application for hailstorm detection in a large collection of radar images[J]. Signal, Image and Video Processing, 2019, 13(3): 541-549.

[14]

张晓晖, 白文奇, 杨松楠, 等. 基于差分Causal LSTM模型的气象图像短时预测研究[J]. 西安理工大学学报, 2023, 39(4): 529-535.

ZHANG

Xiaohui

, BAl

Wenqi

, YANG

Songnan

, et al. Research on short-time prediction of meteoro-logic al images based on differential-Causal LSTM Model[J].Journal of Xi'an University of Technology, 2023, 39(4):529-535.

[15]

LIU

, WANG

. HiC4D: Forecasting spatiotemporal Hi-C data with residual ConvLSTM[J]. Briefings in Bioinformatics, 2023, 24(5): bbad263.

[16]

JIMÉNEZ-NAVARRO

, MARTÍNEZ-BALLESTEROS

, MARTÍNEZ-ÁLVAREZ

, et al. From simple to complex: A sequential method for enhancing time series forecasting with deep learning[J]. Logic Journal of the IGPL, 2024: jzae030.

[17]

SHRIKUMAR

, GREENSIDE

, SHCHERBINA

,et al. Not just a black box: Learning important features through propagating activation differences[EB/OL].(2017-04-11)[2024-05-20]. https://arxiv.org/abs/1605.01713.

[18]

王兴, 吕晶晶, 王璐瑶, 等. 基于深度神经网络的强对流天气识别算法[J]. 科学技术与工程, 2021, 21(7):2737-2746.

WANG

Xing

, LYU

Jingjing

, WANG

Luyao

, et al. A strong convective weather recognition algorithm based on deep neural network[J]. Science Technology and Engineering, 2021, 21(7): 2737-2746.

2024年第45卷第4期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.12347/j.ycyk.20240520002

接收时间：2024-05-20
首发时间：2026-03-20
出版时间：2024-07-15

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-05-20
修回日期：2024-06-17

基金

国家重点研发计划项目(2022YFC3004104)

中国气象局创新发展专项项目(CXFZ2024J001)

中国气象局水文气象重点开放基金项目(23SWQXZ001)

风云卫星应用先行计划2023(FY-APP-ZX-2023.01)

安阳国家气候观象台开放研究基金课题(AYNCOF202401)

作者信息

¹国家气象中心　北京　100081

²安阳国家气候观象台　安阳　455000

³南京信息工程大学人工智能学院　南京　210044

⁴国家卫星气象中心（国家空间天气监测预警中心）　北京　100081

⁵许健民气象卫星创新中心　北京　100081

⁶中国气象局遥感卫星辐射测量和定标重点开放实验室　北京　100081

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/ycyk/CN/10.12347/j.ycyk.20240520002

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

数据类型	空间分辨率/(°)	时间分辨率/min
三维雷达数据	0.01	6
FY4B卫星数据	0.04	15
ERA5模式数据	0.25	60
DEM数据	0.01	—
标签数据	0.01	6
Posh数据	0.01	6

数据类型

空间分辨率/(°)

时间分辨率/min

三维雷达数据

0.01

FY4B卫星数据

0.04

ERA5模式数据

0.25

DEM数据

0.01

—

标签数据

0.01

Posh数据

0.01

	识别负例	识别正例
真实负例	TN(True negative)	FP(False positive)
真实正例	FN(False negative)	TP(True positive)

识别负例

识别正例

真实负例

TN(True negative)

FP(False positive)

真实正例

FN(False negative)

TP(True positive)

方法经典STLSTM	TMC-STLSTM	MDFFM	UCUNet	IoU 0.26	F1-score 0.44
TMC方案	√			0.62	0.54
TMC-MDFFM方案	√	√		0.79	0.71
TMC-MDFFM-UCUNet方案	√	√	√	0.84	0.86

方法
经典STLSTM

TMC-STLSTM

MDFFM

UCUNet

IoU
0.26

F1-score
0.44

TMC方案

√

0.62

0.54

TMC-MDFFM方案

√

0.79

0.71

TMC-MDFFM-UCUNet方案

√

0.84

0.86

方法	雷达数据	FY4B卫星数据	模式数据	DEM数据	IoU	F1-score
雷达数据	√				0.31	0.29
FY4B方案	√	√			0.52	0.47
FY4B-ERA5方案	√	√	√		0.69	0.71
FY4B-ERA5-DEM方案	√	√	√	√	0.88	0.85

方法

雷达数据

FY4B卫星数据

模式数据

DEM数据

IoU

F1-score

雷达数据

√

0.31

0.29

FY4B方案

√

0.52

0.47

FY4B-ERA5方案

√

0.69

0.71

FY4B-ERA5-DEM方案

√

0.88

0.85

方法	平原地区	复杂地形地区
IoU	F1-score	IoU	F1-score
HINet	0.81	0.83	0.85	0.87
Causal LSTM	0.69	0.79	0.75	0.79
SimVP	0.73	0.65	0.81	0.74
N-Bearts	0.76	0.72	0.64	0.68

方法

平原地区

复杂地形地区

IoU

F1-score

IoU

F1-score

HINet

0.81

0.83

0.85

0.87

Causal LSTM

0.69

0.79

0.75

0.79

SimVP

0.73

0.65

0.81

0.74

N-Bearts

0.76

0.72

0.64

0.68