海洋学报

序号	模式名称	所属国家	研发机构
1	ACCESS-CM2	澳大利亚	CSIRO-ARCCSS
2	ACCESS-ESM1-5	澳大利亚	CSIRO
3	CAMS-CSM1-O	中国	CAMS
4	CanESM5-CanOE	加拿大	CCCma
5	E3SM-1-O	美国	E3SM-Project LLNL UCI
6	BCC-CSM2-HR	中国	BCC
7	FGOALS-f3-L	中国	CAS
8	FGOALS-g3	中国	CAS
9	FIO-ESM-2-0	中国	FIO-QLNM
10	AWI-CM-1-1-MR	德国	AWI
11	IPSL-CM6A-LR	法国	IPSL
12	MIROC6	日本	MIROC
13	MIROC-ES2L	日本	MIROC
14	MRI-ESM2-0	日本	MRI
15	NESM3	中国	NUIST
16	NorESM2-MM	挪威	NCC

序号	模式名称	所属国家	研发机构
1	ACCESS-CM2	澳大利亚	CSIRO-ARCCSS
2	ACCESS-ESM1-5	澳大利亚	CSIRO
3	CAMS-CSM1-O	中国	CAMS
4	CanESM5-CanOE	加拿大	CCCma
5	E3SM-1-O	美国	E3SM-Project LLNL UCI
6	BCC-CSM2-HR	中国	BCC
7	FGOALS-f3-L	中国	CAS
8	FGOALS-g3	中国	CAS
9	FIO-ESM-2-0	中国	FIO-QLNM
10	AWI-CM-1-1-MR	德国	AWI
11	IPSL-CM6A-LR	法国	IPSL
12	MIROC6	日本	MIROC
13	MIROC-ES2L	日本	MIROC
14	MRI-ESM2-0	日本	MRI
15	NESM3	中国	NUIST
16	NorESM2-MM	挪威	NCC

序号	再分析数据	所属国家	研发机构
1	SODA	美国	UMD
2	GODAS	美国	NCEP

序号	再分析数据	所属国家	研发机构
1	SODA	美国	UMD
2	GODAS	美国	NCEP

数据集	训练样本数	验证样本数
CMIP6	25321	6331
SODA	1302	325

数据集	训练样本数	验证样本数
CMIP6	25321	6331
SODA	1302	325

模型	RMSE ↓	MAE↓	PCC↑
Swin-Transformer	1.11	0.95	0.52
Swin(w/下采样)	0.91	0.77	0.64
ENSO-STformer	0.76	0.63	0.73
本文(w/时空融合注意力机制)	0.83	0.68	0.69
本文(w/Niño3.4指数预测器)	0.88	0.72	0.66

模型	RMSE ↓	MAE↓	PCC↑
Swin-Transformer	1.11	0.95	0.52
Swin(w/下采样)	0.91	0.77	0.64
ENSO-STformer	0.76	0.63	0.73
本文(w/时空融合注意力机制)	0.83	0.68	0.69
本文(w/Niño3.4指数预测器)	0.88	0.72	0.66

基于Swin-Transformer和时空融合注意力机制的ENSO预测

PDF下载

张霄智 ¹ , 方巍 ¹^,²^,³^,^* , 王淏西 ¹

海洋学报 | 论文 2024,46(12): 111-121

收起

海洋学报 | 论文 2024, 46(12): 111-121

基于Swin-Transformer和时空融合注意力机制的ENSO预测

全屏

张霄智¹, 方巍¹^,²^,³^,^*, 王淏西¹

作者信息

1.南京信息工程大学计算机学院/软件学院，江苏南京 210044

2.中国气象局武汉暴雨研究所中国气象局流域强降水重点开放实验室/暴雨监测预警湖北省重点实验室，湖北武汉 430205

3.中国气象科学研究院灾害天气国家重点实验室，北京 100081

张霄智（1998—），男，江苏省南通市人，研究方向为深度学习、ENSO预测。E-mail：2201083714@qq.com

通讯作者:

*方巍，教授，博士生导师，研究方向为人工智能、大数据分析、机器学习和计算机视觉。E-mail：fangwei@nuist.edu.cn

ENSO prediction based on Swin-Transformer and spatio-temporal fusion attention mechanism

Xiaozhi Zhang¹, Wei Fang¹^,²^,³^,^*, Haoxi Wang¹

Affiliations

1. School of Computer Science & School of Software , Nanjing University of Information Science and Technology, Nanjing 210044, China

2. China Meteorological Administration, China Meteorological Administration Basin Heavy Rainfall Key Laboratory/Hubei Key Laboratory for Heavy Rain Monitoring and Warning Research, Institute of Heavy Rain, Wuhan 430205, China

3. State Key Laboratory of Severe Weather, Chinese Academy of Meteorological Sciences, Beijing 100081, China

出版时间: 2024-12-31 doi: 10.12284/hyxb2024127

文章导航

摘要

收起

厄尔尼诺−南方涛动预测是气候变化研究的热点问题之一。本文将Swin-Transformer模型与时空融合注意力机制相结合，采用1850−2014年CMIP6多模式模拟历史数据、1871−1979年SODA同化数据和1980−2023年GODAS同化数据，构建厄尔尼诺−南方涛动预测模型，即ENSO-STformer。该模型通过在CMIP6和SODA数据集上进行充分的训练，并在GODAS数据上进行评估，结果表明：本文模型在提前11个月的Niño3.4指数相关技巧的平均值上分别比CanCM4、CCSM3、GFDLaer04动力预报系统高出5.1%、21.6%和12.4%，同时，在中长期的Niño3.4指数相关技巧上显著优于其他深度学习模型，并可以进行长达24个月的有效ENSO预测，此外，在对2015−2016年厄尔尼诺事件模拟中表现出较强的应对春季预报障碍能力。

关键词

深度学习 / ENSO预测 / 时空融合注意力机制 / 卷积神经网络 / Niño3.4指数

Abstract

收起

The prediction of El Niño-Southern Oscillation is one of the hot issues in climate change research. This paper combines swin-transformer model with spatio-temporal fusion attention mechanism, and uses CMIP6 multi-model simulation historical data from 1850 to 2014, SODA assimilated data from 1871 to 1979 and GODAS assimilated data from 1980 to 2023 to construct El Niño-Southern Oscillation prediction model—ENSO-STformer. The model was fully trained on CMIP6 and SODA datasets and evaluated on GODAS data. The results show that the average skill of this model in predicting the Niño3.4 index at 11-month lead times exceeds those of CanCM4, CCSM3, and GFDLaer04 by 5.1%, 21.6%, and 12.4% respectively. Meanwhile, the Niño3.4 index related skills of the proposed model are significantly better than other deep learning models in the medium and long term. Effective ENSO forecasts can be made for up to 24 months, and the 2015−2016 El Niño event simulation shows strong ability to cope with spring forecast obstacles.

Key words

deep learning / ENSO predicting / spatio-temporal fusion attention mechanism / convolutional neural network / Niño3.4 index

引用本文

张霄智, 方巍, 王淏西. 基于Swin-Transformer和时空融合注意力机制的ENSO预测. 海洋学报, 2024 , 46 (12) : 111 -121 . DOI: 10.12284/hyxb2024127

Xiaozhi Zhang, Wei Fang, Haoxi Wang. ENSO prediction based on Swin-Transformer and spatio-temporal fusion attention mechanism[J]. Haiyang Xuebao, 2024 , 46 (12) : 111 -121 . DOI: 10.12284/hyxb2024127

正文

收起

1 引言

收起

厄尔尼诺−南方涛动（El Niño-Southern Oscillation，ENSO）是发生在热带中东太平洋地区的海表温度异常（Sea Surface Temperature Anomaly，SSTA）现象，并且主要表现为厄尔尼诺（El Niño）和拉尼娜（La Niña）两个相位。当发生El Niño时太平洋赤道中东地区海水温度升高，而与此相反，当La Niña发生时，相应地区海水温度降低。除此之外，ENSO的发生往往是不规律的，但是有着明显的周期性，大约平均2～7 a发生一次^[1–4]。

目前，ENSO往往由海洋尼诺指数（Oceanic Niño Index，ONI）来表征其发生情况，其中ONI由Niño3.4区域（5°N～5°S，120°～170°W）SSTA的3个月滑动平均值计算而来。如果ONI持续不少于5个月大于0.5℃，则被认定为El Niño；反之，如果ONI持续不少于5个月小于0.5℃，则被认定为La Niña^[5]。

尽管ENSO事件发生于热带太平洋地区，但是它对全球气候变化有着巨大的影响^[6]。研究表明，ENSO通过海−气的遥相关对太平洋地区及全球其他地区的降水、气候和生态系统造成了巨大影响，并可在全球范围内诱发极端天气事件^[7–8]。因此，ENSO的准确预测对减少气候变化带来的风险，保护社会、经济和生态系统具有重要意义。其中，ENSO的研究经历十几年的发展，其方法大致分为3类：基于统计学模型的方法、基于动力模型的方法和基于深度学习模型的方法。实践表明，基于统计和动力模型的ENSO预测都有一定的准确率，两者都能反映大气运动的部分规律^[9]，但由于ENSO时空演化的变化性和多样性，传统的ENSO预测方法很难实现提前1 a的有效预测。但是，随着地球科学技术与观测设备的快速发展，人们通过雷达、浮标和遥感卫星等途径得到了大量的气候数据，并使用人工智能技术进行分析研究。其中，以深度学习为代表的数据驱动方法为气候预测提供了一种新的方法^[10–14]，这也包括ENSO预测。然而，现有的基于深度学习的ENSO预测方法依旧存在着两大困难和挑战。首先，ENSO的气候因子数据存在着大量的时空信息，以往基于深度学习的ENSO预测模型尚未对时空信息进行充分的特征提取，以至于模型无法有效地捕获气候数据背后隐藏的时空关系。其次，以往的模型仅仅是对数据进行多层卷积或者是自注意力计算，前者只能捕获气候因子中的局部信息而忽视了全局信息，使得模型无法模拟气候变化中的遥相关^[15]，后者虽然可以得到气候因子在整个空间的权重系数，但是这无疑会忽略重点区域的潜在演变，进而使得模型的在长期预测上的相关技巧较低。

为了解决上述问题，本文主要工作如下:

（1）首次以Swin-Transformer^[16]为ENSO预测模型架构并结合时空融合注意力机制（spatio-temporal fusion attention mechanism，STFAM），其命名为ENSO-STformer。该模型通过层次化结构和移动窗口操作，以捕获多尺度特征，并通过时空融合注意力机制建立时间和空间关系，在保留时空信息与减少计算量的同时，建立起时间和空间维度之间的联系，以更有效地提取气候数据的时空信息，从而加强模型对ENSO变化中复杂规律的学习。

（2） ENSO-STformer模型将原有的多层感知器（Multilayer Perceptron, MLP）进行改进，设计出Niño3.4指数预测器（Niño3.4 Index Predictor，NIP），通过对多层提取后的特征进行非线性映射，以增强时空特征之间的表达能力，使得模型可以更好地适用ENSO事件的预测，并最终得到未来Niño3.4指数。

2 相关工作

收起

2.1 基于统计学模型的ENSO预测

在传统的预测方法中，基于统计学模型的ENSO方法往往是对历史观测数据进行分析，通过将ENSO信号与SSTA、次表层的温度异常和海表风应力异常等其他气候因子之间建立联系，进而对ENSO进行预测。其中，常见的统计方法有典型相关分析（Canonical Correlation Analysis，CCA）^[17]、奇异谱分析（Singular Spectrum Analysis，SSA）^[18]、主振荡分析（Principal Oscillation Pattern Analysis，POP）^[19]、线性反演模式（Linear Inverse Model，LIM）^[20]等。虽然上述的统计方法可以在一定程度上模拟ENSO变化，但是，这些方法统尚未有效利用ENSO变化中隐含着的物理规律，进而使得模型预测的时效性与精确度较低。

2.2 基于动力学模型的ENSO预测

另一种传统的预测方法是基于物理动力学模型构建的复杂气候模型，该方法通过模拟全球大气环流、海洋循环和生态系统变化等过程，使得效果要优于基于统计模型，并已达到6～12个月的可靠预测，但是该方法需要耗费大量资源，性能提升不易，与此同时，数值模式预测技巧很大程度上依赖于初始场，这使得预测系统研发极其复杂^[21]。除此之外，由于ENSO时空演变的多变性和复杂的非线性，基于物理动力学模型在预测ENSO仍存在很大的不确定性^[22]，尤其在长期预测上表现的尤为明显。

2.3 基于深度学习的ENSO预测

近几年来，人工智能的飞速发展为ENSO预测研究提供了新视角。与基于动力学模型相比，基于深度学习的ENSO预测方法不需要考虑复杂的物理关系，进而极大地提高ENSO建模的非线性与准确性，使得ENSO的预测研究得到进一步发展。

Ham等^[23]首次将深度学习技术应用到ENSO预测之中，通过使用卷积神经网络（Convolutional Neural Network，CNN）对全球SSTA与海洋热含量异常（Ocean Heat Content Anomaly，HCA）进行ENSO建模，通过CNN的平移不变性使得模型学习到ENSO的前兆信息，并且其预测效果超过了世界上最先进的动力预报系统，但是该模型较为简单，无法挖掘气候因子中更为复杂的非线性特征。周佩等^[24]采用长短期记忆网络（Long Short-Term Memory，LSTM）对Niño3.4指数进行时序预测，使得春季预报障碍（Spring Predictability Barrier，SPB）得到了明显缓解，然而该方法仅仅考虑到时序间的依赖关系，忽略了空间信息。Geng和Wang^[25]将ENSO预测看作时空预测问题，并设计了基于密集卷积长短时记忆（Dense Convolution Long ShortTerm Memory，DC-LSTM）模型，通过充分的特征提取，得到充足的深层特征信息，并在验证数据上显示出更高的Niño3.4指数全季节相关技巧，尽管如此，该方法中忽略了时间与空间之间的关联，造成模型获得的时空信息不够充分。Ye等^[26]首次将Transfomer引入到ENSO预测之中，通过将CNN和Transfomer相结合，即ENSOTR，有效提取了气候数据中的浅层与高级语义特征，实现了对Niño3.4指数提前一年半的高相关性预测，但是，该方法仅仅在分辨率更小的数据集上获取的效果，其模型无法学习到的丰富的空间信息并缺乏对时空信息的学习。Rui等^[27]针对以往基于深度学习的ENSO预测模型没有充分考虑月份和季节属性的问题，提出了一个两阶段时空（Two-Stage SpatioTem-poral，TSST）自回归模型，通过将气候因子预测与ENSO指标预测相结合，以保留隐藏在气象序列中的模式，该方法考虑到了不同时间尺度上的相互关系，并在一定程度上考虑到了时空信息，但是由于采用自回归的方式，未能对历史序列进行有效学习，造成模型无法充分提取历史序列中隐藏的非线性时空信息。

本文提出一种时空融合注意力机制的ENSO预测算法。与以往的ENSO预测模型相比，本文模型首次以Swin-Transformer为ENSO的预测框架，通过Swin-Transformer模型独特的层次化结构与移动窗口注意力机制，既可以捕获多尺度下气候数据的特征信息，又可以兼顾全局与区域信息权重进而提高模型提取空间特征的能力；与此同时，通过引入时空融合注意力机制，在保留时空信息与减少计算量的同时，建立起通道和空间维度之间的联系，以加强模型对气候因子中隐藏着的复杂规律的学习；最后，通过设计Niño3.4指数预测器模块，将时空数据压缩为一维数据并进行多层的非线性映射，提升模型泛化能力。

3 数据和方法

收起

3.1 数据集

本文使用经度范围为90°E～30°W，纬度范围为30°S～30°N的SSTA与海表下150 m温度异常（Sea Surface Temperature Anomaly at 150 m Depth，SSTA150）作为预测因子，其分辨率为1° × 1°。

数据来自第六次国际耦合模式比较计划（Coupled Model Intercomparison Project Phase 6，CMIP6）（1850−2014年）^[28]中16个模式的逐月历史模拟数据、简单海洋数据同化版2.2.4（Simple Ocean Data Assimilation，SODA）^[29]（1871−1979年）的逐月再分析数据和全球海洋数据同化系统（Global Ocean Data Assimilation System，GODAS）^[30]（1980−2023年）的逐月再分析数据。尽管SODA、GODAS和CMIP6之间的时间有重叠，但这3个数据集之间不存在依赖关系，其中历史模拟数据和再分析数据信息如表1和表2所示。

本实验将数据中所有缺失值与异常值都设为0，并且通过使用滑动窗口的方法增加样本数量，其中窗口大小为29步长，间隔为1，即前3个步长作为模型输入，后26个步长用于模型输出验证，时间间隔都为1个月。因此，CMIP6、SODA和GODAS中样本数分别为31652、1628和452个样本数据。鉴于CMIP6中不同的模式数据存在偏差，并与再分析数据存在较大差异，因此，本文通过迁移学习方法对ENSO-STformer进行训练。首先，将ENSO-STformer在CMIP6数据上进行预训练，然后，将预训练模型在SODA数据上进行再训练，最终在GODAS数据上进行评估，其中CMIP6与SODA的数据划分如表3所示。

3.2 ENSO预测问题定义

ENSO预测是利用历史气候因子数据以进行未来Niño3.4指数预测。本文利用深度学习方法，通过将历史3个月的SSTA与SSTA150两个气候因子数据在通道维度进行拼接，并对气候数据的时空挖掘，以预测26个月的Niño3.4指数。假设给定一个气候因子的历史步数为

$ T $

的时空数据序列为

$ {X_{1,T}} = \{ {X_1}, {X_2},\cdots ,{X_T}\} $

，其中

$ {X_1} $

和

$ {X_T} $

分别表示过去第1时间点和过去第

$ T $

时间点的气候数据。为了简化公式表示，ENSO预测模型可以表示为

$ f( \cdot ) $

，它把历史T步的气候数据

$ {X_{1,T}} $

作为输入，然后提取历史气候数据的特征并进行未来

$ N $

步的Niño3.4指数预测

$ {Y_{T + 1,T + N}} = \{ {Y_{T + 1}}, {Y_{T + 2}},\cdots ,{Y_{T + N}}\} $

。上述过程可被公式1所描述:

(1)

$ {Y_{T + 1,T + N}} = f({X_{1,T}}) ，$

式中，

$ T $

为输入模型的气候数据的历史步数，

$ N $

为模型输出Niño3.4指数的未来步数，

$ f( \cdot ) $

表示ENSO深度学习模型。

3.3 ENSO-STformer模型网络架构

本文模型采用的是Swin-Transformer模型结构，包含一个下采样模块用于提取历史气候因子浅层特征以及降低图像分辨率、多个ENSO-STformer骨干网络，即Swin STFA Block，用于提取包含时空信息在内的多维度深层特征，以及一个Niño3.4指数预测器用于将多维度融合信息进行充分的非线性映射，并得到未来的Niño3.4指数。

首先，使用卷积核为

$ 3\ \times\ 3 $

的CNN进行下采样操作，以达到减小图片分辨率和最大程度保留信息；其次，为了避免过深的网络结构带来的模型过拟合，这里采用2个骨干网络进行时空数据挖掘；最后，通过Niño3.4指数预测器进行未来26个月的Niño3.4指数预测。

本文模型网络如图1所示，在下采样操作上，由于SSTA与SSTA150为海洋数据，其分布之中有着大量数值为0的陆地数据，因此原始的Swin-Transformer中将图片进行简单卷积以降低图片分辨率的做法，不能够充分地提取气候因子信息，进而降低注意力机制的计算效率。

因此，ENSO-STformer中下采样主要有一组卷积模块构成，通过卷积操作以及最大池化（MaxPool）的方法达到最大程度过滤陆地数据和降低图片分辨率的目的，其过程如图2所示。其中图2a表示了整体过程，图2b表示下采样后的空间映射。

3.3.1 窗口注意力机制

窗口注意力机制是窗口多头自注意力（Windows Multi-head Self-Attention，W-MSA）和移动窗口多头自注意力（Shifted Windows Multi-Head Self-Attention，SW-MSA）。

如图1b所示，窗口多头自注意力能够将注意力计算限制在单个不重叠的区域之中，充分获取区域信息，但是该方法造成不同窗口之间信息无法相互影响，并导致模型对全局特征的提取不够充分，进而使得模型无法模拟气候变化中的遥相关。因此，在移动窗口多头自注意力中使用了移动窗口策略，使得信息可以在相邻窗口之间相互传递信息，进而增强模型对全局信息的获取能力，其计算过程为

(2)

$ {z^l} = {\rm{MS}}{{\rm{A}}^W}({z^{l - 1}})， $

(3)

$ {z^{l + 1}} = {\rm{MS}}{{\rm{A}}^{SW}}({\rm{STFAM}}({z^l}))， $

式中，MSA_W表示窗口多头自注意力，MSA^W表示移动窗口多头自注意力；STFAM表示时空融合机制。

3.3.2 时空融合注意力机制

由于，以往通道或空间注意力机制往往通过降低通道维度来建立跨通道之间的关系，这可能给深度模型中的特征表示带来了消极影响^[31]。除此之外，在对气候数据进行空间信息提取的同时，需要对时空信息进行充分的关联，以提高模型对时空数据的表达能力。如图1c所示时空融合注意力机制，使用了并行子网络以聚合多尺度空间信息，并通过跨空间学习以增强时空信息融合。

首先，通过分组卷积进行初次的特征提取，时空融合注意力机制的子网络主要由四条子网络构成，其中一条平行引入了卷积块注意模块（Convolutional Block Attention Module，CBAM），并通过残差连接的方式，得到浅层时空融合信息，其中两条平行路线将两个编码特征沿图像高度和宽度方向进行全局平均池化（AvgPool），并使用

$ 1\ \times\ 1 $

卷积核与Sigmoid函数将空间信息嵌入到含有时间学习的通道之中，进而建立起时间与空间信息的关联，与此同时，为了提取深层的特征与提高计算效率，通过使用

$ 3\ \times\ 3 $

深度可分离卷积（Depthwise Separable Convolution，DSC），提升模型的计算效率，该模块的计算过程为

(4)

$ {E^{'}} = {\rm{GroupConv}}2{{\rm d}^{1 \times 1}}(E)， $

(5)

$ {E_H} = {\rm{Av}}{{\rm g}^H}({E^{'}}),{E_W} = {\rm{Av}}{{\rm g}^W}({E'})， $

(6)

$ {E_{WH}} = {\rm{DSConv}}2{{\rm d}^{3 \times 3}}({E'})) ，$

(7)

$ E_W^{'},E_H^{'} = {\rm{Sigmoid}}({\rm{DSConv}}2{{\rm d}^{1 \times 1}}({\rm{cat}}({E_W},{E_H})))， $

(8)

$ {E_{\rm{CBAM}}} = {\rm{CBAM}}({E^{'}}) + {E'} ，$

(9)

$ {E_{{\rm{Weight}}}} = {E_{\rm{CBAM}}} \odot (E_W^{'} \times {E'}_{H}) ，$

式中，GroupConv2d^k×k表示使用不同的卷积核的分组卷积；DSConv2d^k×k表示使用不同的卷积核的深度可分离卷积；CBAM表示卷积块注意力；Avg表示全局平均池化；Sigmoid表示非线性激活函数。

时空融合学习主要是将并行子网络中的两个分支的输出向量进行不同空间维度方向的跨空间学习聚合。首先，使用分组归一化将输出向量转化为对应维度形状，并通过平均池化（AvgPool）对全局空间信息进行编码，最后在Sigmoid的激活下与3 × 3分支下的特征向量进行点积运算，以此获得第一个空间注意力图。与此同时，通过相似的方法对3 × 3分支的输出向量进行相同操作，获得第二个空间注意力图，并在联合激活前进行相加，从而实现时空信息融，该模块的计算过程为

(10)

$ {E_1} = {\rm{GroupNorm}}({\rm{Soft}}\max ({\rm{Avg}}({E_{\rm{Weight}}}))) \odot {E_{HW}}， $

(11)

$ {E_2} = {\rm{GroupNorm}}({E_{\rm{Weight}}}) \odot {\rm{Soft}}\max ({\rm{Avg}}({E_{HW}})) ，$

(12)

$ {E^{''}} = {E_{\rm{CBAM}}} \odot {\rm{Sigmoid}}({E_1} + {E_2})， $

式中，GroupNorm为分组归一化；

$\odot $

为哈达玛积运算，Avg表示全局平均池化；Sigmoid和Softmax表示激活函数。

3.3.3 Niño3.4指数预测器

由于众多的补丁（Patches）中包含了时空融合信息，因此之前Swin-Transformer中将多个补丁进行AvgPool的方式会造成模型在预测时忽略重要的时空信息。

针对该问题，本文设计了Niño3.4指数预测器模块，其结构如图3所示，通过对补丁的特征向量进行Maxpool得到每一个补丁中数值更大的特征信息，与此同时，通过多层的非线性映射将包含时空信息的特征向量压缩为一维向量，增强时空特征之间的联合表达，进而提高模型的预测能力与鲁棒性，除此之外，在Niño3.4指数预测器的输出层添加正则化操作（Dropout），通过随机失活神经元以模拟大气−海洋之中不确定性并避免模型过拟合，该模块的计算过程为

(13)

$ {P_{\max }} = {\rm{MaxPool}}({\rm{Patches}})， $

(14)

$ {P_{\rm{dropout}}} = {\rm{Dropout}}({\rm{LN}}({\rm{MLP}}({P_{\max }})))， $

(15)

$ \rm{Output}=\mathrm{FC}(P_{\text{dr}\rm{opout}})， $

式中，MaxPool为最大池化；LN为层归一化；Dropout表示随机失活神经元；FC表示全连接。

4 验证与结果分析

收起

4.1 实验环境与设置

本文实验在Ubuntu22.04系统下进行，模型使用PyTorch开源神经网络框架进行实现，在NVIDIA GeForce RTX 3060设备上进行训练。

实验中，每个输入包含3个时间步长的2个气候因子，并预测未来26个时间步长的Niño3.4指数。在模型训练过程中，初始学习率（Learning Rate）设置为0.0016，时期（Epoch）的最大值设置为100。

在模型超参数设置方面，考虑输入数据大小，因此，本实验设置CNN中卷积核大小为3，隐藏维度为32。除此之外，借鉴原Swin-Transformer^[16]中参数设置，将每一个补丁的映射维度为96，其次，设置2个阶段中层数分别为3和8的骨干网络，其中每一个骨干网络中的滑动窗口大小分别为3和5，移动窗口多头自注意力中多头大小设置为8，时空融合注意力机制中的分组卷积的分组数设置为4。批大小（Batch-size）设置为3，并选择Adam Optimizer梯度下降优化算法作为模型的优化器，其权重衰减系数为0.001。

4.2 实验性能指标

为充分评估模型性能，本文采用平均绝对误差（Mean Absolute Error，MAE）、均方根误差（Root Mean Square Error，RMSE）以及皮尔逊相关系数（Pearson Correlation Coefficient，PCC） 3个指标来评估模型性能，MAE、RMSE与PCC 3个指标的具体计算公式如下所示:

(16)

$ {\rm{MAE}} = \frac{1}{n}\sum\limits_{i = 1}^n {|{y_i} - {{\hat y}_i}|}， $

(17)

$ {\rm{RMSE}} = \frac{1}{n}\sqrt {\sum\limits_{i = 1}^n {{{({y_i} - {{\hat y}_i})}^2}} } ，$

(18)

$ {\rm{PCC}} = \frac{\displaystyle\sum\limits_{i = 1}^n {({X_i} - \hat X)({Y_i} - \hat Y)} }{\sqrt {\displaystyle\sum\limits_{i = 1}^n {({X_i} - \hat X)} ^2} \sqrt {\displaystyle\sum\limits_{i = 1}^n {({Y_i} - \hat Y)} ^2} } ，$

式中，

$ n $

表示样本数量，

$ {y_i} $

表示第

$ i $

个真实值，

$ {\hat y_i} $

表示第

$ i $

个预测值，

$ X $

和

$ Y $

分别表示两个变量的取值，

$ \hat X $

和

$ \hat Y $

表示两个变量的平均值；MAE和RMSE值越小表示模型预测效果越好，PCC值是计算真实与预测的Niño3.4指数的相关系数，它的范围为0到1，数值越高则表示模型预测ENSO的相关技巧越高。

4.3 多模型的ENSO相关技巧对比

为了比较ENSO-STformer的ENSO预测能力，本文将ENSO-STformer与基于深度学习的ENSO预测模型和北美多模式集合（North American Multi-Model Ensemble，NMME）^[32]项目中的多个动力预报系统进行对比，并通过计算各个模型与预报系统在1984−2017年期间ONI的相关技巧来评估其预测能力，其中基于深度学习的各模型均在1984−2017年期间的GODAS数据进行评估。用于比较的深度学习模型分别是CNN^[23]、ENSOTR^[26]和GCNTR^[33]。用于比较的动力预报系统CanCM4、CCSM3与GFDL-aer04来自于NMME。

不同类型模型的ENSO相关技巧如图4所示，横坐标为不同提前期，纵坐标为ONI预测值与真实值之间的相关系数，其数值越高说明模型预测能力越强。ENSO-STformer中的ONI的相关技巧在提前11个月的情况下超过了NMME中3个动力预报系统，并且与其他的深度学习模型相比，随着提前月数的增加，ONI的相关技巧的下降幅度最小，除此之外，最为明显的是，在提前14个月后，ENSO-STformer的相关技巧远超过以往基于深度学习的ENSO预测模型，并可以进行长达两年的有效预测。这表明ENSO-STformer在ENSO预测上有着明显的优势，尤其在中长期的ENSO预测上。

4.4 ENSO-STformer不同提前期的相关技巧

图5a至图5f是分别ENSO-STformer对1985−2017年的Niño3.4指数提前1、3、6、12、15和18个月的预测结果。

从图5中可以看出，ENSO-STformer在不同提前期的预测能力，随着提前期的增加，其相关技巧随之下降，但是依旧可以在提前18个月上达到0.6的高技巧。与此同时，模型在提前12个月的预测之中，能够较好地拟合ENSO处于El Niño时的各种峰值，并且预测曲线没有表现出明显的后滞情况，这说明模型对El Niño事件的捕获较为可靠。但是，从预测结果来看，模型对ENSO的冷事件捕获能力较弱，并最早于提前期6个月中便无法预测La Niña的最低值。这可能归咎于模型中多次的MaxPool操作，导致模型更多地捕获到暖事件的信号，从而降低了对冷事件的学习能力。

4.5 模拟2015−2016年El Niño事件

为了评估ENSO-STformer应对具体ENSO事件的能力，本文将模型模拟2015−2016年El Niño事件，同时为了检验模型应对SPB的能力，本文分别从2015年2月、2015年3月、2015年4月以及2015年5月开始对2015−2016年的El Niño进行预测，并通过ONI来比较模型预测的情况，其中观测值是GODAS中相应时间的ONI。除此之外，本文将相同时刻起报的动力预报系统CMC1-CanCM3中的预报结果与ENSO-STformer的预测结果进行比较，CMC1-CanCM3预报结果为该系统中10个模式预报的SSTA的距平值的平均值并以此计算出相应的ONI，其结果如图6所示。

从图6中可以看出，从2015年2月至2015年3月起报的结果可以看出，ENSO-STformer对El Niño预测强度偏弱，这情况在2015年8月至2015年11月之间最为明显，但是，这两次的起报依旧可以大致预测出本次El Niño的变化趋势，并且与观测值相比，没有出现明显的滞后性。与此同时，2015年4月与2015年5月的起报结果可以很好地拟合观测值的变化趋势，除此之外，ENSO-STformer与CMC1-CanCM3在各时间点的起报情况相比，ENSO-STformer的预测效果要远远好于CMC1-CanCM3的预报效果，这表明ENSO-STformer相比于动力预报系统而言，可以较好地应对SPB带来的消极影响。

4.6 消融实验

为了验证本文对原始Swin-Transformer改进的有效性，本文针对所有改进模块进行多组消融实验，并在GODAS数据集上进行验证。

表4中，第一组是不做任何修改的Swin-Transformer模型；“本文（w/时空融合注意力机制）”表示只保留时空融合注意力机制所得到的实验结果；“本文（w/Niño3.4指数预测器）”表示只保留Niño3.4指数预测器所得到的实验结果；“Swin-Transformer（w/下采样）”表示替换原始Swin-Transformer中图片下采样操作后所得到结果。

实验结果如表4所示，修改Swin-Transformer中下采样方式，确实可以为模型带来了不小的提升，这也说明了，针对数据处理上的优化依旧是一项重要的工作。除此之外，时空融合注意力机制的引入比Niño3.4指数预测器的引入性能提升更高，而将所有改进模块融合的本文模型获取了最佳的性能提升，这有力的说明了：将时空维度的信息建立关联，从而获取气候因子在时空演化中隐藏的复杂信息对于模型预测性能的提高至关重要，与此同时，通过添加大气−海洋变化中的不确定性，从而为模型进行一定的物理约束，使得模型能够较为合理地模拟真实世界中复杂的非线性变化。

5 结语

收起

针对以往基于深度学习的ENSO预测模型中时空信息未能充分挖掘，受到通道与空间注意力机制的启发，本文提出一种时空融合注意力机制的预测模型，在Swin-Transformer的基础上引入时空融合注意力机制并提出了ENSO-STformer模型。通过对SSTA与SSTA150两个气候因子进行ENSO建模，并利用CMIP6、SODA和GODAS数据对ENSO-STformer进行训练与验证。

实验结果表明：在提前11月之中，其相关技巧超过于动力预报系统，并相比于CMC1-CanCM3动力预报模型而言，本模型对现有的SPB问题有较好的应对能力；与此同时，ENSO-STformer在提前14个月之后的预测技巧上超越以往基于深度学习的ENSO预测模型，并能够在长达24个月ENSO预测的相关技巧上可以达到0.5以上；除此之外，通过消融实验，可以得出本文在Swin-Transform基础上的诸多改动的有效性，例如引入时空融合注意力机制（Spatio-Temporal Fusion Attention Mechanism，STFAM）与Niño3.4指数预测器（Niño3.4 Index Predictor，Niño3.4指数预测器）。

尽管ENSO-STformer在ENSO预测上显示出优秀的性能，但是依旧存在以下两点明显问题：

（1）本文仅仅使用了两个气候因子，即SSTA与SSTA150，但是ENSO的演变是有众多气候因子共同影响的，因此，在之后的研究之中应当尝试更多的气候因子，并定量评估相关的气候因子对ENSO预测的贡献程度；

（2）本文通过数据驱动的方式对ENSO事件进行建模，其过程尚未融入物理机制，从而导致模型的可解释性较差，这十分不利于深入探讨ENSO变化的潜在机制，因此，如何将更多的物理定律作为先验知识融入深度学习模型？这些问题有待于进一步研究。

基金

收起

国家自然科学基金面上项目(42475149)
中国气象局流域强降水重点开放实验室开放研究基金(2023BHR−Y14)
南京气象科技创新研究院北极阁开放研究基金(BJG202306)
灾害天气国家重点实验室开放课题(2024LASW-B19)
江苏省研究生科研与实践创新计划项目(KYCX24_1533)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

石世玮, 智海, 林鹏飞, 等. 热带太平洋盐度年际变化对海表温度异常作用比较: 1997/1998、2014/2015和2015/2016年El Niño事件[J]. 大气科学, 2020, 44(5): 1057−1075.

Shi Shiwei, Zhi Hai, Lin Pengfei, et al. Contrasting salinity interannual variations in the tropical pacific and their effects on recent El Niño events: 1997/1998, 2014/2015, and 2015/2016[J]. Chinese Journal of Atmospheric Sciences, 2020, 44(5): 1057−1075.

祁莉, 毛欣, 张文君. 北太平洋海温Victoria模态与ENSO年际关系的非对称特征[J]. 大气科学学报, 2022, 45(2): 280−291.

Qi Li, Mao Xin, Zhang Wenjun. Asymmetric characteristics of interannual relationship between Victoria mode of North Pacific SST and ENSO[J]. Transactions of Atmospheric Sciences, 2022, 45(2): 280−291.

万云霞, 晏红明, 金燕, 等. 两次不同ENSO背景下云南冬季极端冷事件的成因分析[J]. 大气科学学报, 2023, 46(4): 575−586.

Wan Yunxia, Yan Hongming, Jin Yan, et al. Causes of two extremely cold events in Yunnan during different ENSO events[J]. Transactions of Atmospheric Sciences, 2023, 46(4): 575−586.

Zhang Ronghua, Zhou Lu, Gao Chuan, et al. A transformer-based coupled ocean-atmosphere model for ENSO studies[J]. Science Bulletin, 2024, 69(15): 2323−2327.

Wang Gaige, Cheng Honglei, Zhang Yiming, et al. ENSO analysis and prediction using deep learning: a review[J]. Neurocomputing, 2023, 520: 216−229.

Cai Wenju, Santoso A, Gollins M, et al. Changing El Niño-Southern Oscillation in a warming climate[J]. Nature Reviews Earth & Environment, 2021, 2(9): 628−644.

Anttila-Hughes J K, Jina A S, Mccord G C. ENSO impacts child undernutrition in the global tropics[J]. Nature Communications, 2021, 12(1): 5785.

Cai Wenju, Ng B, Geng Tao, et al. Anthropogenic impacts on twentieth-century ENSO variability changes[J]. Nature Reviews Earth & Environment, 2023, 4(6): 407−418.

任宏利, 郑飞, 罗京佳, 等. 中国热带海−气相互作用与ENSO动力学及预测研究进展[J]. 气象学报, 2020, 78(3): 351−369.

Ren Hongli, Zheng Fei, Luo Jingjia, et al. A review of research on tropical air-sea interaction, ENSO dynamics, and ENSO prediction in China[J]. Acta Meteorologica Sinica, 2020, 78(3): 351−369.

Dong Changming, Xu Guangjun, Han Guoqing, et al. Recent developments in artificial intelligence in oceanography[J]. Ocean-Land-Atmosphere Research, 2022, 2022: 9870950.

Zhu Yuchao, Zhang Ronghua, Moum J N, et al. Physics-informed deep-learning parameterization of ocean vertical mixing improves climate simulations[J]. National Science Review, 2022, 9(8): nwac044.

Zheng Gang, Li Xiaofeng, Zhang Ronghua, et al. Purely satellite data-driven deep learning forecast of complicated tropical instability waves[J]. Science Advances, 2020, 6(29): eaba1482.

Ling Fenghua, Luo Jingjia, Li Yue, et al. Multi-task machine learning improves multi-seasonal prediction of the Indian Ocean Dipole[J]. Nature Communications, 2022, 13(1): 7681.

Zhao Sen, Jin Feifei, Stuecker M F, et al. Explainable El Niño predictability from climate mode interactions[J]. Nature, 2024, 630(8018): 891−898.

黄刚, 胡开明, 唐颢苏, 等. 从能量学角度理解气候背景场对ENSO热带和热带外遥相关的影响[J]. 大气科学, 2024, 48(1): 218−227

Huang Gang, Hu Kaiming, Tang Haosu, et al. Understanding the influence of background mean-state field on ENSO tropical and extratropical teleconnection from an energetic perspective[J]. Chinese Journal of Atmospheric Sciences, 2024, 48(1): 218−227

Liu Ze, Lin Yutong, Cao Yue, et al. Swin Transformer: hierarchical vision transformer using shifted windows[C]//Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 9992−10002.

Fekadu K. Ethiopian seasonal rainfall variability and prediction using canonical correlation analysis (CCA)[J]. Earth Sciences, 2015, 4(3): 112−119.

Biabanaki M, Eslamian S S, Koupai J A, et al. A principal components/singular spectrum analysis approach to ENSO and PDO influences on rainfall in western Iran[J]. Hydrology Research, 2014, 45(2): 250−262.

Zhou Lu, Zhang Ronghua. A hybrid neural network model for ENSO prediction in combination with principal oscillation pattern analyses[J]. Advances in Atmospheric Sciences, 2022, 39(6): 889−902.

Kido S, Richter I, Tozuka T, et al. Understanding the interplay between ENSO and related tropical SST variability using linear inverse models[J]. Climate Dynamics, 2023, 61(3/4): 1029−1048.

杨淑贤, 零丰华, 应武杉, 等. 人工智能技术气候预测应用简介[J]. 大气科学学报, 2022, 45(5): 641−659.

Yang Shuxian, Ling Fenghua, Ying Wushan, et al. A brief overview of the application of artificial intelligence to climate pre-diction[J]. Transactions of Atmospheric Sciences, 2022, 45(5): 641−659.

Fang Wei, Sha Yu, Sheng V S. Survey on the application of artificial intelligence in ENSO forecasting[J]. Mathematics, 2022, 10(20): 3793.

Ham Y G, Kim J H, Luo Jingjia. Deep learning for multi-year ENSO forecasts[J]. Nature, 2019, 573(7775): 568−572.

周佩, 黄颖婕, 胡冰逸, 等. 基于LSTM深度学习的ENSO预测及其春季预报障碍研究[J]. 北京大学学报(自然科学版), 2021, 57(6): 1071−1078.

Zhou Pei, Huang Yingjie, Hu Bingyi, et al. Spring predictability barrier phenomenon in ENSO prediction model based on LSTM Deep learning algorithm[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2021, 57(6): 1071−1078.

Geng Huantong, Wang Tianlei. Spatiotemporal model based on deep learning for ENSO forecasts[J]. Atmosphere, 2021, 12(7): 810.

Ye Min, Nie Jie, Liu Anan, et al. Multi-year ENSO forecasts using parallel convolutional neural networks with heterogeneous architecture[J]. Frontiers in Marine Science, 2021, 8: 717184.

Rui Chuang, Sun Zhengya, Zhang Wensheng, et al. Enhancing ENSO predictions with self-attention ConvLSTM and temporal embeddings[J]. Frontiers in Marine Science, 2024, 11: 1334210.

Lu Yunlong, FENG Junqiao, HU Dunxin. CMIP6 models simulation of the connection between North/South Pacific Meridional Mode and ENSO[J]. Journal of Oceanology and Limnology, 2024, 42(2): 439−453.

Lyu Pumeng, Tang Tao, Ling Fenghua, et al. ResoNet: robust and explainable ENSO forecasts with hybrid convolution and transformer networks[J]. Advances in Atmospheric Sciences, 2024, 41(7): 1289−1298.

Behringer D, Xue Yan. Evaluation of the global ocean data assimilation system at NCEP: the Pacific Ocean[C]//Eighth Symposium on Integrated Observing and Assimilation Systems for Atmosphere, Oceans, and LandSurface, AMS 84th Annual Meeting. Seattle, 2004.

Ouyang Daliang, He Su, Zhang Guozhong, et al. Efficient multi-scale attention module with cross-spatial learning[C]//ICASSP 2023-2023 IEEE International Conference on Acoustics, Speech and Signal Processing. Rhodes Island: IEEE, 2023: 1−5.

Kirtman B P, Min D, Infanti J M, et al. The North American multimodel ensemble: phase-1 seasonal-to-interannual prediction; phase-2 toward developing intraseasonal prediction[J]. Bulletin of the American Meteorological Society, 2014, 95(4): 585−601.

杜先君, 李河. 基于集成GCN-Transformer网络的ENSO预测模型[J]. 海洋学报, 2023, 45(12): 156−165.

Du Xianjun, Li He. ENSO prediction model based on integrated GCN-Transformer network[J]. Haiyang Xuebao, 2023, 45(12): 156−165.

2024年第46卷第12期

PDF下载

202

引用本文

BibTeX

文章信息

doi: 10.12284/hyxb2024127

接收时间：2024-07-24
首发时间：2025-11-27
出版时间：2024-12-31

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-07-24
修回日期：2024-10-30

基金

国家自然科学基金面上项目(42475149)

中国气象局流域强降水重点开放实验室开放研究基金(2023BHR−Y14)

南京气象科技创新研究院北极阁开放研究基金(BJG202306)

灾害天气国家重点实验室开放课题(2024LASW-B19)

江苏省研究生科研与实践创新计划项目(KYCX24_1533)

作者信息

1.南京信息工程大学计算机学院/软件学院，江苏南京 210044

2.中国气象局武汉暴雨研究所中国气象局流域强降水重点开放实验室/暴雨监测预警湖北省重点实验室，湖北武汉 430205

3.中国气象科学研究院灾害天气国家重点实验室，北京 100081

通讯作者:

*方巍，教授，博士生导师，研究方向为人工智能、大数据分析、机器学习和计算机视觉。E-mail：fangwei@nuist.edu.cn

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/hyxb/CN/10.12284/hyxb2024127

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

序号	模式名称	所属国家	研发机构
1	ACCESS-CM2	澳大利亚	CSIRO-ARCCSS
2	ACCESS-ESM1-5	澳大利亚	CSIRO
3	CAMS-CSM1-O	中国	CAMS
4	CanESM5-CanOE	加拿大	CCCma
5	E3SM-1-O	美国	E3SM-Project LLNL UCI
6	BCC-CSM2-HR	中国	BCC
7	FGOALS-f3-L	中国	CAS
8	FGOALS-g3	中国	CAS
9	FIO-ESM-2-0	中国	FIO-QLNM
10	AWI-CM-1-1-MR	德国	AWI
11	IPSL-CM6A-LR	法国	IPSL
12	MIROC6	日本	MIROC
13	MIROC-ES2L	日本	MIROC
14	MRI-ESM2-0	日本	MRI
15	NESM3	中国	NUIST
16	NorESM2-MM	挪威	NCC

序号

模式名称

所属国家

研发机构

ACCESS-CM2

澳大利亚

CSIRO-ARCCSS

ACCESS-ESM1-5

澳大利亚

CSIRO

CAMS-CSM1-O

中国

CAMS

CanESM5-CanOE

加拿大

CCCma

E3SM-1-O

美国

E3SM-Project LLNL UCI

BCC-CSM2-HR

中国

BCC

FGOALS-f3-L

中国

CAS

FGOALS-g3

中国

CAS

FIO-ESM-2-0

中国

FIO-QLNM

AWI-CM-1-1-MR

德国

AWI

IPSL-CM6A-LR

法国

IPSL

MIROC6

日本

MIROC

MIROC-ES2L

日本

MIROC

MRI-ESM2-0

日本

MRI

NESM3

中国

NUIST

NorESM2-MM

挪威

NCC

序号	再分析数据	所属国家	研发机构
1	SODA	美国	UMD
2	GODAS	美国	NCEP

序号

再分析数据

所属国家

研发机构

SODA

美国

UMD

GODAS

美国

NCEP

数据集	训练样本数	验证样本数
CMIP6	25321	6331
SODA	1302	325

数据集

训练样本数

验证样本数

CMIP6

25321

6331

SODA

1302

325

模型	RMSE ↓	MAE↓	PCC↑
Swin-Transformer	1.11	0.95	0.52
Swin(w/下采样)	0.91	0.77	0.64
ENSO-STformer	0.76	0.63	0.73
本文(w/时空融合注意力机制)	0.83	0.68	0.69
本文(w/Niño3.4指数预测器)	0.88	0.72	0.66

模型

RMSE ↓

MAE↓

PCC↑

Swin-Transformer

1.11

0.95

0.52

Swin(w/下采样)

0.91

0.77

0.64

ENSO-STformer

0.76

0.63

0.73

本文(w/时空融合注意力机制)

0.83

0.68

0.69

本文(w/Niño3.4指数预测器)

0.88

0.72

0.66