海洋学报

模式	机构	时间范围	集合成员数目
BCC-CSM1.1-m	中国气象局北京气候中心	1850年1月1日至2012年12月1日	1
CanESM2	加拿大气候建模和分析中心	1850年1月1日至2005年12月1日	5
CCSM4	美国国家大气研究中心	1850年1月1日至2005年12月1日	1
CESM1-CAM5	美国国家大气研究中心（NCAR）社区地球系统模型（CESM）贡献者	1850年1月1日至2005年12月1日	1
CMCC-CM	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CMCC-CMS	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CNRM-CM5	法国国家气象研究中心/欧洲高级科学计算研究与培训中心	1850年1月1日至2005年12月1日	5
CSIRO-Mk3-6-0	英联邦科学与工业研究组织与昆士兰气候变化卓越中心合作	1850年1月1日至2005年12月1日	5
FIO-ESM	中国自然资源部第一海洋研究所	1850年1月1日至2005年12月1日	1
GFDL-ESM2G	美国国家海洋和大气管理局地球物理流体动力学实验室	1861年1月1日至2005年12月1日	1
GISS-E2-H	美国宇航局戈达德太空研究所	1850年1月1日至2005年12月1日	5
HadGEM2-AO	韩国气象厅气象研究所	1860年1月1日至2005年12月1日	1
HadCM3	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年12月1日	1
HadGEM2-CC	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	1
HadGEM2-ES	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	4
IPSL-CM5A-MR	皮埃尔·西蒙·拉普拉斯研究所	1850年1月1日至2005年12月1日	1
MIROC5	大气与海洋研究所（东京大学）、国家环境研究所和日本海洋与地球科学技术机构	1850年1月1日至2012年12月1日	1
MPI-ESM-LR	马克斯·普朗克气象研究所	1850年1月1日至2005年12月1日	3
MRI-CGCM3	气象研究所	1850年1月1日至2005年12月1日	1
NorESM1-M	挪威气候中心	1850年1月1日至2005年12月1日	1
NorESM1-ME	挪威气候中心	1850年1月1日至2005年12月1日	1

模式	机构	时间范围	集合成员数目
BCC-CSM1.1-m	中国气象局北京气候中心	1850年1月1日至2012年12月1日	1
CanESM2	加拿大气候建模和分析中心	1850年1月1日至2005年12月1日	5
CCSM4	美国国家大气研究中心	1850年1月1日至2005年12月1日	1
CESM1-CAM5	美国国家大气研究中心（NCAR）社区地球系统模型（CESM）贡献者	1850年1月1日至2005年12月1日	1
CMCC-CM	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CMCC-CMS	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CNRM-CM5	法国国家气象研究中心/欧洲高级科学计算研究与培训中心	1850年1月1日至2005年12月1日	5
CSIRO-Mk3-6-0	英联邦科学与工业研究组织与昆士兰气候变化卓越中心合作	1850年1月1日至2005年12月1日	5
FIO-ESM	中国自然资源部第一海洋研究所	1850年1月1日至2005年12月1日	1
GFDL-ESM2G	美国国家海洋和大气管理局地球物理流体动力学实验室	1861年1月1日至2005年12月1日	1
GISS-E2-H	美国宇航局戈达德太空研究所	1850年1月1日至2005年12月1日	5
HadGEM2-AO	韩国气象厅气象研究所	1860年1月1日至2005年12月1日	1
HadCM3	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年12月1日	1
HadGEM2-CC	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	1
HadGEM2-ES	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	4
IPSL-CM5A-MR	皮埃尔·西蒙·拉普拉斯研究所	1850年1月1日至2005年12月1日	1
MIROC5	大气与海洋研究所（东京大学）、国家环境研究所和日本海洋与地球科学技术机构	1850年1月1日至2012年12月1日	1
MPI-ESM-LR	马克斯·普朗克气象研究所	1850年1月1日至2005年12月1日	3
MRI-CGCM3	气象研究所	1850年1月1日至2005年12月1日	1
NorESM1-M	挪威气候中心	1850年1月1日至2005年12月1日	1
NorESM1-ME	挪威气候中心	1850年1月1日至2005年12月1日	1

提前期/月	GCNTR	ENSOTR	CNN	Transformer	SINTEX-F
注：表中加粗数据表示模型相关系数高于其他模型。
1	0.96	0.98	0.93	0.97	0.90
2	0.94	0.94	0.92	0.91	0.89
3	0.89	0.89	0.88	0.86	0.84
4	0.85	0.85	0.83	0.80	0.81
5	0.83	0.81	0.80	0.76	0.78
6	0.81	0.77	0.76	0.69	0.74
7	0.78	0.75	0.74	0.68	0.69
8	0.74	0.74	0.73	0.64	0.65
9	0.70	0.72	0.71	0.64	0.62
10	0.66	0.7	0.69	0.65	0.58
11	0.65	0.68	0.67	0.61	0.54
12	0.63	0.66	0.65	0.61	0.51
13	0.61	0.65	0.63	0.59	0.48
14	0.59	0.62	0.60	0.52	0.47
15	0.58	0.59	0.57	0.51	0.44
16	0.59	0.55	0.53	0.45	0.41
17	0.58	0.53	0.51	0.45	0.38
18	0.57	0.49	0.46	0.41	0.35
19	0.56	0.44	0.42	0.39	0.33
20	0.52	0.41	0.38	0.35	0.32
21	0.48	0.38	0.34	0.31	0.31
22	0.42	0.36	0.31	0.28	0.31
23	0.35	0.32	0.29	0.25	0.31
平均相关系数	0.6648	0.6448	0.6239	0.5796	0.5483

提前期/月	GCNTR	ENSOTR	CNN	Transformer	SINTEX-F
注：表中加粗数据表示模型相关系数高于其他模型。
1	0.96	0.98	0.93	0.97	0.90
2	0.94	0.94	0.92	0.91	0.89
3	0.89	0.89	0.88	0.86	0.84
4	0.85	0.85	0.83	0.80	0.81
5	0.83	0.81	0.80	0.76	0.78
6	0.81	0.77	0.76	0.69	0.74
7	0.78	0.75	0.74	0.68	0.69
8	0.74	0.74	0.73	0.64	0.65
9	0.70	0.72	0.71	0.64	0.62
10	0.66	0.7	0.69	0.65	0.58
11	0.65	0.68	0.67	0.61	0.54
12	0.63	0.66	0.65	0.61	0.51
13	0.61	0.65	0.63	0.59	0.48
14	0.59	0.62	0.60	0.52	0.47
15	0.58	0.59	0.57	0.51	0.44
16	0.59	0.55	0.53	0.45	0.41
17	0.58	0.53	0.51	0.45	0.38
18	0.57	0.49	0.46	0.41	0.35
19	0.56	0.44	0.42	0.39	0.33
20	0.52	0.41	0.38	0.35	0.32
21	0.48	0.38	0.34	0.31	0.31
22	0.42	0.36	0.31	0.28	0.31
23	0.35	0.32	0.29	0.25	0.31
平均相关系数	0.6648	0.6448	0.6239	0.5796	0.5483

基于集成GCN-Transformer网络的ENSO预测模型

PDF下载

杜先君 ¹ , 李河 ¹

海洋学报 | 论文 2023,45(12): 156-165

收起

海洋学报 | 论文 2023, 45(12): 156-165

基于集成GCN-Transformer网络的ENSO预测模型

全屏

杜先君¹, 李河¹

作者信息

¹ 兰州理工大学电气工程与信息工程学院，甘肃兰州 730050

杜先君（1979—），男，浙江省杭州市人，副教授，博士，主要从事复杂系统建模与控制研究。E-mail：xdu@lut.edu.cn

ENSO prediction model based on integrated GCN-Transformer network

Xianjun Du¹, He Li¹

Affiliations

¹College of Electrical and Information Engineering, Lanzhou University of Technology, Lanzhou 730050, China

出版时间: 2023-12-31 doi: 10.12284/hyxb2023155

文章导航

摘要

收起

厄尔尼诺−南方涛动（El Niño-Southern Oscillation, ENSO）是热带太平洋海表面温度发生异常的现象，会导致冰雹、洪水、台风等极端天气的出现，因此对ENSO的准确预测意义重大。本文设计了集成GCN-Transformer（GCNTR）模型，首先运用Transformer网络的全局特征聚焦能力对数据特征进行编码，然后结合GCN提取图数据特征的能力，最后引入特征融合门控机制将经过编码的特征和GCN提取的特征进行融合，实现ENSO的精确预测。结果表明，GCNTR模型实现了对ENSO提前20个月的预测，比ENSOTR多了3个月，比Transformer多了5个月，并且模型绝大部分的预测精度优于其他模型。与现有的方法相比，GCNTR模型能够实现对ENSO更好的预测。

关键词

厄尔尼诺−南方涛动 / 图卷积神经网络 / Transformer / GCNTR

Abstract

收起

El Niño-Southern Oscillation (ENSO) is an anomaly in the Tropical Pacific Ocean sea surface that can lead to extreme weather such as hail, floods, and typhoons, therefore, accurate prediction of ENSO is of great significance. An integrated graph convolutional network-transformer (GCNTR) model is presented in this paper. Firstly, transformer network is used to encode data features based on its strong focus ability of the global feature. Secondly, GCN is employed to extract features from graph data, and finally introduces a gated feature fusion mechanism to fuse the encoded features with the features extracted by GCN to achieve the accurate prediction ENSO. The results indicate that the GCNTR model achieves the prediction of ENSO 20 months in advance, which is 3 months longer than ENSOTR and 5 months longer than Transformer, and most of the prediction accuracy of the model is better than other models. Compared to the existing methods, the GCNTR model enables better prediction of ENSO.

Key words

El Niño-Southern Oscillation (ENSO) / graph convolutional network (GCN) / Transformer / graph convolutional network-transformer (GCNTR)

引用本文

杜先君, 李河. 基于集成GCN-Transformer网络的ENSO预测模型. 海洋学报, 2023 , 45 (12) : 156 -165 . DOI: 10.12284/hyxb2023155

Xianjun Du, He Li. ENSO prediction model based on integrated GCN-Transformer network[J]. Haiyang Xuebao, 2023 , 45 (12) : 156 -165 . DOI: 10.12284/hyxb2023155

正文

收起

1 引言

收起

厄尔尼诺–南方涛动（El Niño-Southern Oscillation, ENSO）是厄尔尼诺（El Niño）与南方涛动（Southern Oscillation）的合称^[1]，它是目前世界上最为显著的海洋−大气耦合模式，前者描述了东太平洋海表面温度（Sea Surface Temperature, SST）发生异常现象，后者记录了南太平洋和印度洋海面气压的波动情况，它们的发生具有不规则性，但也有明显的周期性，大约平均每4年发生一次。大范围的全球气候变暖会造成全球气候系统的失调。暖的ENSO事件为厄尔尼诺事件，冷的为拉尼娜事件，两者的发展阶段相反，厄尔尼诺处于升温阶段时，拉尼娜处于冷却阶段。因此，人们对ENSO的描述和物理过程的解释只是对暖事件的讨论，拉尼娜事件则与之相反。

从海洋学的角度讲，科学家将太平洋海区分为4个海区^[2]分别是Niño1区、Niño2区、Niño3区以及Niño4区，Niño3.4区位于后两个海区之间，如图1所示，这4个海区的SST距平值的变化可作为判断ENSO事件的依据^[3]。如果Niño3.4区SST的3个月滑动平均绝对值≥0.5℃并持续不少于5个月，判定为一次厄尔尼诺/拉尼娜事件（指数≥0.5℃为厄尔尼诺事件；指数≤−0.5℃为拉尼娜事件）。

ENSO会对热带太平洋地区的降水产生一定的影响，对一些依靠农业、渔业发展的国家造成严重的经济损失，也会引起全球气候的变化并引发一些自然灾害。强ENSO事件会对全球的工业、农业、经济以及生态系统产生很大的影响。目前对ENSO指数的研究成果，大致可以分为降水量、台风以及农业气象灾害。

因此，对ENSO进行准确地分析和预测可以对一些极端天气做出提前预估，提前采取有效的措施进行防范，减少损失。ENSO的研究历经几十年，其研究方法大致可以分为3类：基于动力学的方法、基于统计学的方法和基于深度学习的方法。前两种作为经典的研究方法优于只靠人工观测的方法，但也很难实现提前一年对其进行准确预测，模型的长期预测性差，而且忽略了ENSO在不同季节的差异性，可能会丢失一些有利于预测的信息，使得预测误差较大。近年来，随着研究人员对不同类型的ENSO研究方法的深入研究,以及深度学习技术在计算机视觉等领域取得巨大成功，越来越多基于深度学习的ENSO研究方法应运而生。基于深度学习方法的ENSO预测模型性能明显优于传统的模型，它们在很大程度上解决了传统预测模型存在的时空局限性等问题。然而，现有基于深度学习的方法，也存在预测难度较大、准确度较低、泛化性较弱等问题。本文针对此类问题，融合图卷积神经网^[4]（Graph Convolutional Network, GCN）和Transformer^[5]网络的预测模型用于ENSO的分析预测。

2 相关工作

收起

传统方法中，基于动力学方法的预测模型有耦合大气环流模型^[1]、混合耦合模型^[6]和中等复杂模型等。这类模型通过对从初始条件开始的动力学方程进行迭代来预测未来状态，有助于理解季节的内扰动。Shin等^[7]运用统计学的方法，设计了一个模拟−线性逆模型（Model-Analog and Linear Inverse Models, MA-LIM）用于ENSO分析预测，模型的成功来自于使用了比模拟更为准确的初始条件，以及通过模拟微调将季节性周期和非线性临时实现到线性逆模型中。虽然大气−耦合模型的总体性能要好于统计模型，但也不能实现对ENSO提前一年进行预测。人工智能的快速发展让研究出现了新的视角，基于神经网络的研究模型也逐渐涌现，模型的性能相对于传统模型得到很大提升，克服了传统模型存在的时空局限性，使得ENSO的分析研究更进一步。

Petersik和Dijkstra^[8]首次将人工神经网络（Artificial Neural Network, ANN）运用于ENSO的预测。他们设计了高斯密度神经网络和分位数回归神经网络集成的模型来预测ENSO，实现了12个月的高相关性预测。Mahesh等^[9]提出了基于循环神经网络（Recurrent Neural Network, RNN）的预测模型，用于预测不同提前期的月平均海表面温度。林琪凡等^[10]提出了使用长短时记忆神经网络（Long Short-Term Memory, LSTM）的方法实现了西太平洋暖池变化的预测，分别用暖池面积、强度、质心纬度和质心经度4个指标对ENSO状态进行描述。Ham等^[11]提出了基于卷积神经网络（Convolutional Neural Network, CNN）的预测模型，利用卷积核的优点，实现了从ENSO前兆中学习信息，显示了高性能的预测，优于大多数的经典模型。Gupta等^[12]提出了卷积长短时记忆网络（Convolutional Long Short-Term Memory, ConvLSTM），结合了LSTM网络的时序建模特性和CNN的多维数据处理特性，实现了对月平均Niño3.4指数提前一年的预测，并且能够捕捉强ENSO事件，但模型仅使用月平均SST作为预测因子。Fang等^[13]在综述中提到基于图神经网络（Graph Neural Network, GNN）的ENSO进行方法分析，通过边缘信息流的显式建模还可以允许更多可解释的预测，与当时最先进的方法相比，该模型的预测提前期更长，预测能力更强。Geng和Wang^[14]将ENSO预测视为一个无监督的时空预测问题，并设计了基于密集卷积长短时记忆（Dense Convolution Long Short-Term Memory, DC-LSTM）网络的深度学习模型，它更适合于大范围、单因素的预测，在1994–2010年期间数据的验证结果显示，DC-LSTM取得了最优的Niño3.4指数的全季相关系数。Hu等^[15]为了改进ENSO的振幅和类型预测，提出了一种基于深度残差卷积网络（Residual Convolutional Neural Network, Res-CNN）模型，该模型参数少，它对Niño3.4指数预测的提前期比现有的最优模提前了3个月。Ham等^[16]针对预测模型不足以模拟日历月季节的ENSO的不同特征以及不同物理条件导致预测的时间序列出现波动等问题，设计了一种全季节卷积神经网络（All-Seasonal Convolutional Neural Network, A_CNN）模型，模型性能在北方春季开始时的效果更好，将春季可预测性障碍降到最低。Zhao等^[17]基于端到端的深度学习方法提出了一种时空语义网络（Spatio Temporal Semantic Network, STSNet）模型，它可以捕捉单气象因子建模所忽略的多尺度时空特征并且能够区分不同经纬度的地理语义，在空间和时间维度上都具有多尺度感受野，提高了模型的性能，模型实现了16个有效预测，略低于其他模型。Ye等^[18]首次将Transformer引入到ENSO的预测研究中，结合CNN的局部学习能力和Transformer的远程表示能力，设计了ENSOTR模型。模型表现出了很高的性能，实现了对Niño3.4指数提前一年半的高相关性预测。这项工作为ENSO研究实现大模型奠定了基础。

深度学习模型使得ENSO的研究工作取得了较大的发展，但这些模型也存在着一些问题。比如CNN能很好地聚焦局部特征，但对全局特征的把握不足，可解释性差；LSTM结构复杂，并行处理上存在劣势；RNN随着网络层数的增加会出现梯度爆炸和梯度消失等问题。GCN是图数据特征提取的最佳选择，成功应用于网络分析、交通预测等领域。Transformer在机器翻译、自然语言处理（Natural Language Processing, NLP）等领域取得了巨大的成功，这是由于Transfomer能够更好的关注全局特征，能够捕捉ENSO的远程前兆，能够展示出更好的预测性能。本文利用GCN和Transformer的优点以及其在其他领域应用的成功经验，改进并设计了基于GCN和Transformer的集成模型GCNTR。GCNTR的主要优势如下：

（1）基于改进Transformer网络的集成GCNTR模型，能够实现对ENSO提前20个月的预测，比Transformer模型提前期多了5个月，比ENSOTR模型多了3个月，模型绝大部分时期的预测表现优于其他模型。

（2）GCNTR引入了特征融合门控机制，将经过Transformer编码的特征与GCN所提特征进行融合，提高了预测精度。

3 数据与方法

收起

3.1 数据集

本文使用55°S～60°N，环全球经度的SST和海洋热含量（Heat Content, HC）异常图作为预测因子，分辨率为5° × 5°的连续3个月平均Niño3.4指数（5°S～5°N，170°～120°W范围内的平均SST异常）是描述ENSO事件的指标之一。预训练的数据集是耦合模型相互比较项目的第5阶段数据^[19]（Coupled Model Intercomparison Project Phase 5, CMIP5）（1861–2004年），具体数据模式如表1所示。训练数据集是简单海洋数据同化版2.2.4（Simple Ocean Data Assimilation, SODA）^[20]（1871–1973年）和第5版扩展重建海面温度数据（Extended Reconstructed Sea Surface Temperature Dataset, Version 5, ERSSTV5）。测试数据集是全球海洋资料同化系统系列数据集（Global Ocean Data Assimilation System, GODAS)）^[21]（1984–2017年）。

3.2 GCNTR模型

3.2.1 GCN网络

图像作为一种典型的非结构化、非线性数据，常用于复杂数据的描述，例如，人际关系网、知识图谱、城市道路以及3D点云等。图像的结构特殊，它作为输入时其局部维度可变，这与结构化数据不同，图中每个节点周围的节点数不同，并且节点之间没有先后顺序，仅有连接与否的关系。传统的神经网络对图像的特征提取能力并不是很理想。

GCN是处理图像的常用方法，其网络结构如图2所示，它与CNN的作用是相同的，都是通过对图像数据执行卷积运算，用于有效地提取特征。基于GCN的图像数据特征提取方法，实现了节点分类、图分类、边预测以及图的嵌入表示等工作。

假设在一张图数据中有N个节点，每个节点都有自己的特征，各节点的特征可组成N × D维矩阵X，节点之间的邻接关系形成一个N × N维的邻接矩阵A。矩阵A中的元素，邻接时为1，不邻接时为0。X和A为GCN的输入。GCN作为一个神经网络，层与层之间的传播方式为

(1)$ {\boldsymbol{H}^{l + 1}} = \sigma \left( {{{\widetilde {\boldsymbol{D}}}^{ - \frac{1}{2}}}\widetilde {\boldsymbol{A}}{{\widetilde {\boldsymbol{D}}}^{ - \frac{1}{2}}}{H^{(l)}}{W^{(l)}}} \right) \text{，} $

式中，$\widetilde {\boldsymbol{A}} = {\boldsymbol{A}} + {\boldsymbol{I}}$，${\boldsymbol{I}} $是单位矩阵；$ \widetilde {\boldsymbol{D}} $是$ \widetilde {\boldsymbol{A}} $的度矩阵，关系为${{\boldsymbol{D}}_{ii}} = \sum\nolimits_j {{{\widetilde {\boldsymbol{A}}}_{ij}}} $；$ \boldsymbol{H} $是每一层的特征，对于输入层而言，$ \boldsymbol{H} $即为$ \boldsymbol{X} $；W为权重矩阵；$ \sigma $是非线性激活函数；l为神经元的次序。一个神经元包含一个函数和一个激活函数，式（1）代表了神经元之间的传递函数。将图像作为GCN的输入，经过若干隐藏层后，节点特征由X变到Z。然而，无论中间有多少隐藏层，节点之间的邻接关系不会改变，即A是共享的。例如，设计两层GCN网络，激活函数分别采用ReLU和Softmax，则整体的传导公式为

(2)$ \boldsymbol{Z} = f({\boldsymbol{X}},{\boldsymbol{A}}) = {\text{softmax(}}\widehat {\boldsymbol{A}}{\text{ReLU(}}\widehat {\boldsymbol{AX}}{{\boldsymbol{W}}^{(0)}}{\text{)}}{{\boldsymbol{W}}^{{\text{(1)}}}}{\text{)}}. $

GCN具有即使不训练，使用随机初始化的参数W，也可以提取出有效的图特征，而CNN却需要大量的训练。

3.2.2 Transformer网络

Transformer是目前在NLP领域应用广泛的网络。Transformer网络的主体思想是基于自注意力（Self-attention）机制进行设计，打破了以往的卷积思想充分发挥自注意力机制的优势。Transformer只用了encoder-decoder结构，效果却优于大部分网络，并且它最大的优点是在计算效率上有了很大的进步，内部仅有attention，使得计算实现并行化，在更短的时间内完成对多变量数据预测等方面的任务。近年来，Transformer网络被广泛应用于机器视觉、目标检测、图像分割、显著性目标检测、视频理解等任务，均取得了很好的效果，Transformer网络模型基本结构如图3a所示。

Transformer网络的主要架构是encoder-decoder模型，摒弃了RNN和前馈网络等结构，采用复杂化的attention结构。每个encoder层由Self-attention和前馈神经网络层组成，完成注意力计算和特征映射转换。Self-attention计算了输入特征与同一层其他输入特征之间的关系，使得此位置的节点也获取了本层其他位置的特征信息。

Decoder与encoder结构相似，包含顺序连接的Self-attention层和前馈神经网络层两层网络结构，在其前面添加一层多头注意力机制（Multi-head Attention）掩码层。因为在模型的预测时，输出具有以某时刻的输出不应受到后续输出的影响，所以模型增加掩码层来帮助模型实现更好的预测。

Self-attention作为Transformer的核心，其结构图如图3b所示，计算公式为

(3)$ \text{Attention}(\boldsymbol{Q,K,V})=\text{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^{\text{T}}}{\sqrt{d_k}}\right)\boldsymbol{V}\text{，} $

式中，Q（Query），K（Key）和V（Value）都源于同一输入；$ {d_k} $为Key向量的维度。首先对$ {\boldsymbol{Q}} $和$ {\boldsymbol{K}} $做点积运算，然后通过Softmax将其归一化为概率分布，最后与$ {\boldsymbol{V }}$相乘得到最终的结果。

模型中的多头注意力机制是为了进一步完善自注意力层。使用h个不同的线性变换分别对Q、K和V进行线性映射，然后，将映射后的注意力进行拼接后再经过一层线性变换层得到多头注意力机制，结构如图3c所示。

3.2.3 GCNTR模型

ENSO现象极其复杂，不同因素和同一因素在不同地区对其影响程度不同。例如，SST和风对ENSO的影响不同，暖的SST异常对ENSO影响在太平洋地区和大西洋地区是不相同的。因此，数据特征的提取尤为重要。

本文基于改进Transformer网络，设计了集成GCN-Transformer（GCNTR）模型，结合Transformer网络的全局特征聚焦能力和GCN网络的图特征提取能力。其中，在Transformer的编码层中设计了两层的GCN网络，并引入特征融合门控机制进行特征融合，模型框架如图4所示。

模型由一个输入层，一个图像块切割层（Patch Division, PD），一个改进的Transformer编码层，一个全连接层以及一个输出层组成。其中，改进的Transformer编码层集成了编码层和GCN网络，由于GCN使用随机初始化的参数进行训练，即使不做预训练也能有效提取特征，为了避免层数过多而导致过拟合、梯度消失等问题，因此GCNTR模型中使用两层GCN网络学习各节点的特征。结构中“～”表示特征门控融合机制，门$ g $融合静态特征和动态特征，其输入是动态特征$ {a_{l + 1}} $和固态特征$ {g_{l + 1}} $。

(4)$ g = {\text{Sigmoid}}\left[f({g_l}_{ + 1}) + f({a_l}_{ + 1})\right] \text{，} $

式中，$ f $是线性映射，将特征转化为一维向量，通过门$ g $将$ {a_{l + 1}} $和$ {g_{l + 1}} $进行加权得到输出，实现特征的融合；l表示结构的层数。输入层的变量是t–2个月到t月的SST（单位：℃）和HC（℃）异常图，输出层的变量是从t + 1月到t + 23月的Niño3.4指数。

(5)$ \left\{\begin{split} & a_0=\left[X_{\text{pre}},\text{PD}(x)\right]+X_{\text{pos}}\quad X_{\text{pos}}\in R^{(N+1)\; \times\; C_2}, \\ & a_l=\text{Atten}(a_{l-1})+a_{l-1}\quad l=1,\cdots,L, \\ & a_{l\text{ + 1}}=\text{FFN}(\text{LN}(a_l))+a_l\quad l=1,\cdots,L, \\ & g_l=\text{GCN}1(a_{l-1}), \\ & g_{l+1}=\text{GCN}2(g_l), \\ & y=\text{FC}[g\times\text{LN(}g_{l+1})+(1-g)a_{l+1}].\end{split}\right. $

模型的完整计算过程如式（5）所示，具体描述为：首先，将输入的异常图序列中嵌入一个可学习变量X_pre，此变量将异常图的高维特征映射为低维向量，从而不断地更新学习到的特征，随后进行图像块切割（PD）操作将输入划分为维度相同的N份，特征映射$ f \in {R^{{C_2} \,\times\, {p_1} \,\times\, {p_2}}} $，然后降为一维向量，$ {p_{\text{1}}} $和$ {p_{\text{2}}} $表示图像切割的大小，维数为C₂。因此切割后的数据维度是（N, C₂）。位置信息对于气象数据非常重要，需要将图像块之间的邻接位置信息（X_pos）嵌入，这样，式（5）中$ {a_0} $就实现了将数据的预处理，将语义特征和位置特征结合并作为输入送入到Transformer的编码器中进行注意力计算（Atten），由式（3）可知，注意力计算的输入为Q、K、V都来源于同一输入$ {a_0} $，先进行Q与K的点积运算，随后进行Softmax操作并和V相乘得到计算结果，依次计算h个头的注意力，将其进行拼接并进行线性变换得到最终的结果。再进行归一化（LN）以及前馈网络（FFN）操作，得到编码后的特征图，结合另一通道中两层GCN网络提取的图像特征，通过特征融合门控机制进行特征融合，最后送入到全连接层（Fully Connected Layer, FC）中得到预测结果y。

4 验证与结果讨论

收起

4.1 数据预处理

本文使用SST和海表面高度（Sea Surface Height, SSH）实现对Niño3.4指数的预测，将原始数据CMIP5、SODA、GODAS和ERSSTV5进行时间上的统一，并线性插值成5° × 5°的网格，然后进行距平值和3个月滑动计算作为Niño3.4指数，最后将SST和SSH合并作为训练据，Niño3.4指数作为标签。在时间维度上重新划分预训练集（CMIP5, 1861−2004年），训练集（SODA, ERSSTV5, 1871−1973年），测试集（GODAS, 1984−2017年），数据维度大小是6 × 24 × 72，其中6为通道数，24和72表示数据的宽度与高度。

4.2 参数设置

本文使用Adam进行模型优化，经过微调实验确定学习率为0.001最佳，在Transformer中网络层数l为6，注意力头数h为8，p₁和p₂设置为4和6。评价指标为相关系数和均方误差。

(6)$ I_l=\sum\limits_{m\; =\; 1}^{12}\frac{\displaystyle\sum\limits_{y\; =\; s}^e(Y_{y,\; m}-\overline{Y}_m)(P_{y,\; m,\; l}-\overline{P}_{m,\; l})}{\sqrt{\displaystyle\sum\limits_{y\; =\; s}^e(Y_{y,\; m}-\overline{Y}_m)^2\displaystyle\sum\limits_{y\; =\; s}^e(P_{y,\; m,\; l}-\overline{P}_{m,\; l})^2}}\text{，} $

(7)$ {\mathrm{MSE}} = \frac{1}{n}\sum\limits_{i \,=\, 1}^n {{{({Y_i} - {P_i})}^2}} \text{，} $

式中，$ Y $和$ P $分别为观测值和预测值；$ {\overline Y_m} $和$ {\overline P_{m,\;l}} $表示与日历月$ m $（1~12月）和预测提前月$ l $（1~23月）相关的时间气候；标签$ y $表示预测目标年；$ s $和$ e $为测试数据的开始年份和结束年份；n表示测试样本的数量。

4.3 实验结果及分析

GCNTR首先利用CMIP5数据进行预训练，然后利用SODA和ERSSTV5数据进行训练，最后利用GODA数据进行模型测试，结果如图5所示。

5 结论

收起

ENSO能够导致冰雹、洪水、台风等极端天气，因此对ENSO的准确预测能够使人们提前采取有效措施来防范自然灾害，减少损失。为了有效地预测ENSO，本文基于改进Transformer网络，设计了集成GCN-Transformer（GCNTR）模型，充分利用了GCN网络对图数据特征的提取能力和Transformer对全局特征的聚焦能力，实现了对ENSO更好的预测，尤其在长期预测能力上得到了很大的提升，为ENSO的预测提供了新思路和新方法。

图5a至图5f分别GCNTR模型对1984−2017年的Niño3.4指数提前1、6、12、18、20和21个月的预测结果。模型的预测结果能比较好的拟合观测的3个月的滑动平均Niño3.4指数，虽然12个月以后的预测期内出现了观测值为正，预测值为负的情况，但总体来讲GCNTR模型更加成功地预测了ENSO暖事件，可以归功于GCN网络对于图像数据特征更好的提取能力。图中黄色的模型预测曲线相对于黑色的观测曲线存在滞后性，主要原因是数据序列存在自相关性，数据序列中产生了变化趋势，可增加多维特征以及改变模型的输入与输出策略来解决滞后问题。预测曲线的振幅相对于观测曲线振幅偏低，且随着预测时长的增加，振幅也在降低，可能的原因是数据可能存在缺失值，对Niño3.4指数的预测可能存在其他气候的相互作用以及随机因素的影响，可以通过增加输入变量，扩充训练样本来降低这些影响。GCNTR模型与其他模型的相关系数比较结果如图6所示。实验对10个模型的相关系数进行了比较，结果显示GCNTR模型在绝大部分提前期的预测表现都比其他模型好，GCNTR的总体性能优于其他模型。尤其在提前期大于15个月的任务上，模型表现出极强的预测能力。图中黑色虚线表示相关系数阈值为0.5，此阈值作为模型预测成功与否的指标。GCNTR模型能够实现提前20个月有效预测，因此，GCNTR模型的性能要优于CNN、Transformer、ENSOTR、动态模型（SINTEX-F）以及CanCM4、CCSM3、CCSM4等传统模型。

表2通过定量的方式比较了GCNTR、CNN、Transformer和ENSOTR，以及动态模型（SINTEX-F）等模型在提前期为1～23个月时的预测结果。可以看出Transformer模型的整体性能低于其他的深度学习模型，但效果优于SINTEX-F模型。结合了CNN和Transformer的ENSOTR模型展现了比较好的性能，实现了提前17个月的有效预测。但是本文改进后的集成GCNTR模型性能明显变强，有效预测期为20个月。图7中展示了其他评价指标的对比，结果同样表明GCNTR模型的预测能力要高于其他模型，而均方误差和均方根误差要小于其他模型。

基金

收起

国家自然科学基金项目（62241307）；甘肃省科技计划项目(22YF7FA166)；兰州市科技计划项目(2022-RC-60)；甘肃省教育厅高等学校创新基金项目(2021A-027)。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

Luo Jinglia, Masson S, Behera S K, et al. Extended ENSO predictions using a fully coupled ocean–atmosphere model[J]. Journal of Climate, 2008, 21(1): 84−93.

Mu Bin, Li Jing, Yuan Shijin, et al. The NAO variability prediction and forecasting with multiple time scales driven by ENSO using machine learning approaches[J]. Computational Intelligence and Neuroscience, 2022, 2022: 6141966.

Wang Gaige, Cheng Honglei, Zhang Yiming, et al. ENSO analysis and prediction using deep learning: a review[J]. Neurocomputing, 2023, 520: 216−229.

Tian Zhiqiang, Li Xiaojian, Zheng Yaoyue, et al. Graph-convolutional-network-based interactive prostate segmentation in MR images[J]. Medical Physics, 2020, 47(9): 4164−4176.

Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017: 6000−6010.

Zhang Ronghua, Tian Feng, Wang Xiujun. A new hybrid coupled model of atmosphere, ocean physics, and ocean biogeochemistry to represent biogeophysical feedback effects in the Tropical Pacific[J]. Journal of Advances in Modeling Earth Systems, 2018, 10(8): 1901−1923.

Shin J, Park S, Shin S I, et al. Enhancing ENSO prediction skill by combining model-analog and linear inverse models (MA-LIM)[J]. Geophysical Research Letters, 2020, 47(1): e2019GL085914.

Petersik P J, Dijkstra H A. Probabilistic forecasting of El Niño using neural network models[J]. Geophysical Research Letters, 2020, 47(6): e2019GL086423.

Mahesh A, Evans M, Jain G, et al. Forecasting El Niño with convolutional and recurrent neural networks[C]//Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019: 8−14.

林琪凡, 耿旭朴, 谢婷, 等. 基于长短期记忆神经网络的西太平洋暖池变化预测[J]. 厦门大学学报(自然科学版), 2021, 60(5): 927−936.

Lin Qifan, Geng Xupu, Xie Ting, et al. Trend prediction of Western Pacific warm pool based on long short-term memory neural networks[J]. Journal of Xiamen University (Natural Science), 2021, 60(5): 927−936.

Ham Y G, Kim J H, Luo Jingjia. Deep learning for multi-year ENSO forecasts[J]. Nature, 2019, 573(7775): 568−572.

Gupta M, Kodamana H, Sandeep S. Prediction of ENSO beyond spring predictability barrier using deep convolutional LSTM networks[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1501205.

Fang Wei, Sha Yu, Sheng V S. Survey on the application of artificial intelligence in ENSO forecasting[J]. Mathematics, 2022, 10(20): 22.

Geng Huantong, Wang Tianlei. Spatiotemporal model based on deep learning for ENSO forecasts[J]. Atmosphere, 2021, 12(7): 810.

Hu Jie, Weng Bin, Huang Tianqiang, et al. Deep residual convolutional neural network combining dropout and transfer learning for ENSO forecasting[J]. Geophysical Research Letters, 2021, 48(24): e2021GL093531.

Ham Y G, Kim J H, Kim E S, et al. Unified deep learning model for El Niño/Southern Oscillation forecasts by incorporating seasonality in climate data[J]. Science Bulletin, 2021, 66(13): 1358−1366.

Zhao Jiakun, Luo Hailun, Sang Weiguang, et al. Spatiotemporal semantic network for ENSO forecasting over long time horizon[J]. Applied Intelligence, 2023, 53(6): 6464−6480.

Ye Feng, Hu Jie, Huang Tianqiang, et al. Transformer for EI Niño-Southern Oscillation prediction[J]. IEEE Geoscience and Remote Sensing Letters, 2021, 19: 1003305.

Bellenger H, Guilyardi E, Leloup J, et al. ENSO representation in climate models: from CMIP3 to CMIP5[J]. Climate Dynamics, 2014, 42(7): 1999−2018.

Giese B S, Ray S. El Niño variability in simple ocean data assimilation (SODA), 1871–2008[J]. Journal of Geophysical Research: Oceans, 2011, 116(C2): C02024.

Behringer D, Xue Yan. Evaluation of the global ocean data assimilation system at NCEP: The Pacific Ocean[C]//Proceedings of the Eighth Symposium on Integrated Observing and Assimilation Systems for Atmosphere, Oceans, and Land Surface. Seattle: AMS, 2004.

2023年第45卷第12期

PDF下载

111

引用本文

BibTeX

文章信息

doi: 10.12284/hyxb2023155

接收时间：2023-04-07
首发时间：2025-12-28
出版时间：2023-12-31

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-04-07
修回日期：2023-07-02

基金

国家自然科学基金项目（62241307）；甘肃省科技计划项目(22YF7FA166)；兰州市科技计划项目(2022-RC-60)；甘肃省教育厅高等学校创新基金项目(2021A-027)。

作者信息

¹ 兰州理工大学电气工程与信息工程学院，甘肃兰州 730050

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/hyxb/CN/10.12284/hyxb2023155

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

模式	机构	时间范围	集合成员数目
BCC-CSM1.1-m	中国气象局北京气候中心	1850年1月1日至2012年12月1日	1
CanESM2	加拿大气候建模和分析中心	1850年1月1日至2005年12月1日	5
CCSM4	美国国家大气研究中心	1850年1月1日至2005年12月1日	1
CESM1-CAM5	美国国家大气研究中心（NCAR）社区地球系统模型（CESM）贡献者	1850年1月1日至2005年12月1日	1
CMCC-CM	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CMCC-CMS	欧洲地中海气候变化中心	1850年1月1日至2005年12月1日	1
CNRM-CM5	法国国家气象研究中心/欧洲高级科学计算研究与培训中心	1850年1月1日至2005年12月1日	5
CSIRO-Mk3-6-0	英联邦科学与工业研究组织与昆士兰气候变化卓越中心合作	1850年1月1日至2005年12月1日	5
FIO-ESM	中国自然资源部第一海洋研究所	1850年1月1日至2005年12月1日	1
GFDL-ESM2G	美国国家海洋和大气管理局地球物理流体动力学实验室	1861年1月1日至2005年12月1日	1
GISS-E2-H	美国宇航局戈达德太空研究所	1850年1月1日至2005年12月1日	5
HadGEM2-AO	韩国气象厅气象研究所	1860年1月1日至2005年12月1日	1
HadCM3	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年12月1日	1
HadGEM2-CC	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	1
HadGEM2-ES	英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）	1859年12月1日至2005年10月1日	4
IPSL-CM5A-MR	皮埃尔·西蒙·拉普拉斯研究所	1850年1月1日至2005年12月1日	1
MIROC5	大气与海洋研究所（东京大学）、国家环境研究所和日本海洋与地球科学技术机构	1850年1月1日至2012年12月1日	1
MPI-ESM-LR	马克斯·普朗克气象研究所	1850年1月1日至2005年12月1日	3
MRI-CGCM3	气象研究所	1850年1月1日至2005年12月1日	1
NorESM1-M	挪威气候中心	1850年1月1日至2005年12月1日	1
NorESM1-ME	挪威气候中心	1850年1月1日至2005年12月1日	1

模式

机构

时间范围

集合成员数目

BCC-CSM1.1-m

中国气象局北京气候中心

1850年1月1日至2012年12月1日

CanESM2

加拿大气候建模和分析中心

1850年1月1日至2005年12月1日

CCSM4

美国国家大气研究中心

1850年1月1日至2005年12月1日

CESM1-CAM5

美国国家大气研究中心（NCAR）社区地球系统模型（CESM）贡献者

1850年1月1日至2005年12月1日

CMCC-CM

欧洲地中海气候变化中心

1850年1月1日至2005年12月1日

CMCC-CMS

欧洲地中海气候变化中心

1850年1月1日至2005年12月1日

CNRM-CM5

法国国家气象研究中心/欧洲高级科学计算研究与培训中心

1850年1月1日至2005年12月1日

CSIRO-Mk3-6-0

英联邦科学与工业研究组织与昆士兰气候变化卓越中心合作

1850年1月1日至2005年12月1日

FIO-ESM

中国自然资源部第一海洋研究所

1850年1月1日至2005年12月1日

GFDL-ESM2G

美国国家海洋和大气管理局地球物理流体动力学实验室

1861年1月1日至2005年12月1日

GISS-E2-H

美国宇航局戈达德太空研究所

1850年1月1日至2005年12月1日

HadGEM2-AO

韩国气象厅气象研究所

1860年1月1日至2005年12月1日

HadCM3

英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，
由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）

1859年12月1日至2005年12月1日

HadGEM2-CC

英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，
由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）

1859年12月1日至2005年10月1日

HadGEM2-ES

英国气象局哈德利中心（由哈德利中心提供额外的HadGEM2-ES实现，
由国家空间研究所提供HadGEM2-CCDEC1859-NOV2005）

1859年12月1日至2005年10月1日

IPSL-CM5A-MR

皮埃尔·西蒙·拉普拉斯研究所

1850年1月1日至2005年12月1日

MIROC5

大气与海洋研究所（东京大学）、国家环境研究所和
日本海洋与地球科学技术机构

1850年1月1日至2012年12月1日

MPI-ESM-LR

马克斯·普朗克气象研究所

1850年1月1日至2005年12月1日

MRI-CGCM3

气象研究所

1850年1月1日至2005年12月1日

NorESM1-M

挪威气候中心

1850年1月1日至2005年12月1日

NorESM1-ME

挪威气候中心

1850年1月1日至2005年12月1日

提前期/月	GCNTR	ENSOTR	CNN	Transformer	SINTEX-F
注：表中加粗数据表示模型相关系数高于其他模型。
1	0.96	0.98	0.93	0.97	0.90
2	0.94	0.94	0.92	0.91	0.89
3	0.89	0.89	0.88	0.86	0.84
4	0.85	0.85	0.83	0.80	0.81
5	0.83	0.81	0.80	0.76	0.78
6	0.81	0.77	0.76	0.69	0.74
7	0.78	0.75	0.74	0.68	0.69
8	0.74	0.74	0.73	0.64	0.65
9	0.70	0.72	0.71	0.64	0.62
10	0.66	0.7	0.69	0.65	0.58
11	0.65	0.68	0.67	0.61	0.54
12	0.63	0.66	0.65	0.61	0.51
13	0.61	0.65	0.63	0.59	0.48
14	0.59	0.62	0.60	0.52	0.47
15	0.58	0.59	0.57	0.51	0.44
16	0.59	0.55	0.53	0.45	0.41
17	0.58	0.53	0.51	0.45	0.38
18	0.57	0.49	0.46	0.41	0.35
19	0.56	0.44	0.42	0.39	0.33
20	0.52	0.41	0.38	0.35	0.32
21	0.48	0.38	0.34	0.31	0.31
22	0.42	0.36	0.31	0.28	0.31
23	0.35	0.32	0.29	0.25	0.31
平均相关系数	0.6648	0.6448	0.6239	0.5796	0.5483

提前期/月

GCNTR

ENSOTR

CNN

Transformer

SINTEX-F

注：表中加粗数据表示模型相关系数高于其他模型。

0.96

0.98

0.93

0.97

0.90

0.94

0.92

0.91

0.89

0.89

0.88

0.86

0.84

0.85

0.83

0.80

0.81

0.83

0.81

0.80

0.76

0.78

0.81

0.77

0.76

0.69

0.74

0.78

0.75

0.74

0.68

0.69

0.74

0.73

0.64

0.65

0.70

0.72

0.71

0.64

0.62

0.66

0.7

0.69

0.65

0.58

0.65

0.68

0.67

0.61

0.54

0.63

0.66

0.65

0.61

0.51

0.61

0.65

0.63

0.59

0.48

0.59

0.62

0.60

0.52

0.47

0.58

0.59

0.57

0.51

0.44

0.59

0.55

0.53

0.45

0.41

0.58

0.53

0.51

0.45

0.38

0.57

0.49

0.46

0.41

0.35

0.56

0.44

0.42

0.39

0.33

0.52

0.41

0.38

0.35

0.32

0.48

0.38

0.34

0.31

0.42

0.36

0.31

0.28

0.31

0.35

0.32

0.29

0.25

0.31

平均相关系数

0.6648

0.6448

0.6239

0.5796

0.5483