中国安全科学学报

时间	原始数据	插值后	归一化后
2023-11-11 T7:51:08	-118.409 8	-118.409 8	0.005 203 874
2023-11-11 T7:51:13	NA	-118.399 1	0.005 440 012
2023-11-11 T7:51:18	NA	-118.407	0.005 265 667
2023-11-11 T7:51:23	NA	-118.421 4	0.004 947 873
2023-11-11 T7:51:24	-118.424	NA	NA
2023-11-11 T7:51:28	NA	-118.431 3	0.004 729 39
2023-11-11 T7:51:33	NA	-118.435 6	0.004 634 493
2023-11-11 T7:51:38	NA	-118.437 5	0.004 592 562
2023-11-11 T7:51:40	-118.4384	NA	NA
2023-11-11 T7:51:43	NA	-118.440 3	0.004 530 769
2023-11-11 T7:51:48	NA	-118.444 9	0.004 429 251
2023-11-11 T7:51:53	NA	-118.450 6	0.004 303 458
2023-11-11 T7:51:56	-118.454 1	NA	NA
2023-11-11 T7:51:58	NA	-118.456 4	0.004 175 457
2023-11-11 T7:52:03	NA	-118.462 1	0.004 049 664
2023-11-11 T7:52:08	NA	-118.467 5	0.003 930 491

时间	原始数据	插值后	归一化后
2023-11-11 T7:51:08	-118.409 8	-118.409 8	0.005 203 874
2023-11-11 T7:51:13	NA	-118.399 1	0.005 440 012
2023-11-11 T7:51:18	NA	-118.407	0.005 265 667
2023-11-11 T7:51:23	NA	-118.421 4	0.004 947 873
2023-11-11 T7:51:24	-118.424	NA	NA
2023-11-11 T7:51:28	NA	-118.431 3	0.004 729 39
2023-11-11 T7:51:33	NA	-118.435 6	0.004 634 493
2023-11-11 T7:51:38	NA	-118.437 5	0.004 592 562
2023-11-11 T7:51:40	-118.4384	NA	NA
2023-11-11 T7:51:43	NA	-118.440 3	0.004 530 769
2023-11-11 T7:51:48	NA	-118.444 9	0.004 429 251
2023-11-11 T7:51:53	NA	-118.450 6	0.004 303 458
2023-11-11 T7:51:56	-118.454 1	NA	NA
2023-11-11 T7:51:58	NA	-118.456 4	0.004 175 457
2023-11-11 T7:52:03	NA	-118.462 1	0.004 049 664
2023-11-11 T7:52:08	NA	-118.467 5	0.003 930 491

参数	设置
$κ$	3
l	2
d	512
多头注意力的头数	8
训练周期	10
批量大小	128
优化器	Adam
学习率初值	0.001
激活函数	GELU

参数	设置
$κ$	3
l	2
d	512
多头注意力的头数	8
训练周期	10
批量大小	128
优化器	Adam
学习率初值	0.001
激活函数	GELU

硬件环境	主频/GHz	2.10
显存/GB	24
软件环境	编程语言	Python 3.8
基础框架	PyTorch 2.0.0

硬件环境	主频/GHz	2.10
显存/GB	24
软件环境	编程语言	Python 3.8
基础框架	PyTorch 2.0.0

组别	模型	每epoch (平均)时间/s	整体时间/s
第1组	F₁	15.28	152.814
F	13.08	130.886
第2组	F₁	35.73	357.36
F	30.16	301.68

组别	模型	每epoch (平均)时间/s	整体时间/s
第1组	F₁	15.28	152.814
F	13.08	130.886
第2组	F₁	35.73	357.36
F	30.16	301.68

模型	MAE	RMSE
F₁	0.044	0.092	0.116	0.084	0.05	0.113	0.136	0.099
F₂	0.028	0.032	0.047	0.035	0.035	0.041	0.055	0.043 3
F₃	0.034	0.058	0.062	0.047	0.042	0.075	0.077	0.0656
F₄	0.026	0.018	0.026	0.023	0.034 5	0.032	0.028	0.032
F	0.018	0.027	0.015	0.021	0.029	0.030	0.020	0.027

模型	MAE	RMSE
F₁	0.044	0.092	0.116	0.084	0.05	0.113	0.136	0.099
F₂	0.028	0.032	0.047	0.035	0.035	0.041	0.055	0.043 3
F₃	0.034	0.058	0.062	0.047	0.042	0.075	0.077	0.0656
F₄	0.026	0.018	0.026	0.023	0.034 5	0.032	0.028	0.032
F	0.018	0.027	0.015	0.021	0.029	0.030	0.020	0.027

阶段	起始爬升阶段	巡航阶段	进近下降阶段
模型	纬度	经度	高度	平均	纬度	经度	高度	平均	纬度	经度	高度	平均
F₁	RMSE	0.132	0.015	0.091	0.079	0.051	0.108	0.145	0.101	0.027	0.120	0.030	0.059
MAE	0.125	0.013	0.086	0.074	0.034	0.125	0.050	0.069	0.034	0.125	0.149	0.102
F₂	RMSE	0.146	0.031	0.119	0.098	0.078	0.155	0.097	0.33	0.015	0.116	0.11	0.08
MAE	0.128	0.026	0.114	0.089	0.155	0.096	0.038	0.096	0.013	0.113	0.108	0.078
F₃	RMSE	0.014	0.045	0.118	0.059	0.066	0.072	0.052	0.063	0.040	0.048	0.045	0.044
MAE	0.012	0.030	0.100	0.047	0.038	0.065	0.064	0.055	0.038	0.038	0.037	0.038
F₄	RMSE	0.029	0.005	0.031	0.022	0.029	0.024	0.030	0.028	0.072	0.06	0.027	0.053
MAE	0.027	0.010	0.029	0.022	0.022	0.015	0.030	0.027	0.071	0.059	0.026	0.052
F	RMSE	0.071	0.014	0.024	0.036	0.020	0.038	0.021	0.026	0.016	0.060	0.019	0.031
MAE	0.055	0.01	0.019	0.028	0.015	0.029	0.018	0.020	0.018	0.048	0.010	0.025

阶段	起始爬升阶段	巡航阶段	进近下降阶段
模型	纬度	经度	高度	平均	纬度	经度	高度	平均	纬度	经度	高度	平均
F₁	RMSE	0.132	0.015	0.091	0.079	0.051	0.108	0.145	0.101	0.027	0.120	0.030	0.059
MAE	0.125	0.013	0.086	0.074	0.034	0.125	0.050	0.069	0.034	0.125	0.149	0.102
F₂	RMSE	0.146	0.031	0.119	0.098	0.078	0.155	0.097	0.33	0.015	0.116	0.11	0.08
MAE	0.128	0.026	0.114	0.089	0.155	0.096	0.038	0.096	0.013	0.113	0.108	0.078
F₃	RMSE	0.014	0.045	0.118	0.059	0.066	0.072	0.052	0.063	0.040	0.048	0.045	0.044
MAE	0.012	0.030	0.100	0.047	0.038	0.065	0.064	0.055	0.038	0.038	0.037	0.038
F₄	RMSE	0.029	0.005	0.031	0.022	0.029	0.024	0.030	0.028	0.072	0.06	0.027	0.053
MAE	0.027	0.010	0.029	0.022	0.022	0.015	0.030	0.027	0.071	0.059	0.026	0.052
F	RMSE	0.071	0.014	0.024	0.036	0.020	0.038	0.021	0.026	0.016	0.060	0.019	0.031
MAE	0.055	0.01	0.019	0.028	0.015	0.029	0.018	0.020	0.018	0.048	0.010	0.025

模型	1	16	32	48	64	80	96
F₂	0.159 3	0.041 6	0.006 1	0.040 4	-0.005	0.005 9	0.01
F₃	0.067 6	0.934 1	0.916 7	0.974 4	0.943 5	0.963 3	0.949 9
F₄	0.008 3	0.922 2	0.899 0	0.946 9	0.911 1	0.93	1.792 5

模型	1	16	32	48	64	80	96
F₂	0.159 3	0.041 6	0.006 1	0.040 4	-0.005	0.005 9	0.01
F₃	0.067 6	0.934 1	0.916 7	0.974 4	0.943 5	0.963 3	0.949 9
F₄	0.008 3	0.922 2	0.899 0	0.946 9	0.911 1	0.93	1.792 5

基于改进Transformer模型的四维航迹预测

PDF下载

刘宏 ¹ , 张鑫迪 ¹ , 卢飞 ¹ , 张成裕 ²

中国安全科学学报 | 安全工程技术 2024,34(12): 74-83

收起

中国安全科学学报 | 安全工程技术 2024, 34(12): 74-83

基于改进Transformer模型的四维航迹预测

全屏

刘宏¹, 张鑫迪¹, 卢飞¹, 张成裕²

作者信息

¹ 中国民航大学空中交通管理学院，天津 300300

² 北方自动控制技术研究所，山西太原 030006

刘宏 (1985—)，男，山西平遥人，博士，副教授，主要从事空中交通管理、智能交通优化、无人机空管安全运行等方面的研究。E-mail：mrliuhong@126.com。

卢飞，副教授。

Research on 4D flight trajectory prediction based on improved Transformer model

Hong LIU¹, Xindi ZHANG¹, Fei LU¹, Chengyu ZHANG²

Affiliations

¹ School of Air Traffic Management，Civil Aviation University of China，Tianjin 300300，China

² North Automatic Control Technology Institute，Taiyuan Shanxi 030006，China

出版时间: 2024-12-28 doi: 10.16265/j.cnki.issn1003-3033.2024.12.0497

文章导航

摘要

收起

针对现有的四维航迹预测未充分考虑序列航迹数据之间存在关联关系等问题，改进Transformer模型架构，完善四维航迹预测的编码和解码操作。首先，改进卷积模块，利用普通卷积捕捉相邻时序点的关联关系，通过扩张卷积捕捉邻近时序序列点之间的隐式相关性，从而覆盖更大的序列范围；其次，采用多头自注意力对航迹的时空间特征结合注意力分数的重要性进行调参计算，学习历史航迹数据的全局依赖关系；再次，通过引入概率稀疏方法，降低自注意力机制的计算复杂度，提高模型的计算效率；最后，搭建试验平台，预测对比航迹的经度、纬度和高度的时序特征。结果表明：改进Transformer模型与传统的Transformer模型等4种神经网络模型相比，时间性能提高14.4%;采用均方根误差(RMSE)和平均绝对误差(MAE)作为评价指标，改进Transformer模型对经度、纬度和高度等航迹特征预测的偏差的平均值分别为0.027和0.021;改进Transformer模型与传统Transformer模型的预测平均偏差0.099和0.084相比，分别减小0.072和0.063。对预测序列长度的敏感性分析得到，改进Transformer模型与基准模型相比，预测的稳定性更高。

关键词

改进Transformer模型 / 四维航迹 / 航迹预测 / 深度学习 / 扩张卷积 / 注意力机制

Abstract

收起

Flight trajectory prediction plays a crucial role in ensuring safe and efficient air traffic operation. In order to consider the implicit correlations between flight trajectory characteristics，the encoding and decoding operations of the prediction framework in the transformer model were enhanced. Firstly，the convolutional block was improved，and ordinary convolutions were applied to capture the correlations between neighboring time series trajectory characteristics，and dilated convolutions were added to capture correlations between non-neighboring time series trajectory characteristics. Secondly，multi-head self-attention was employed to perform calculation based on the spatiotemporal features of the flight trajectory combined with the importance of attention scores. Thirdly，probabilistic sparse method was designed to reduce the computational complexity of the multi-head self-attention and improve the model's computational efficiency. Finally，an experimental platform was established to verify the flight trajectory prediction framework. The results show that compared to the traditional transformer model and the other three neural network models，the improved transformer model shows a 14.4% improvement in time performance. By using root mean square error(RMSE) and mean absolute error(MAE) as evaluation metrics，the average prediction deviations of the improved transformer model for trajectory features such as longitude，latitude，and altitude are 0.027 and 0.021，respectively. These deviations are reduced by 0.072 and 0.063 compared to the traditional transformer model's average prediction deviations of 0.099 and 0.084. Sensitivity analysis on the lengths of prediction sequences indicates that the improved transformer model is more stable than the baseline models.

Key words

improved Transformer model / 4D flight trajectory / trajectory prediction / deep learning / dilated convolution / attention mechanism

引用本文

刘宏, 张鑫迪, 卢飞, 张成裕. 基于改进Transformer模型的四维航迹预测. 中国安全科学学报, 2024 , 34 (12) : 74 -83 . DOI: 10.16265/j.cnki.issn1003-3033.2024.12.0497

Hong LIU, Xindi ZHANG, Fei LU, Chengyu ZHANG. Research on 4D flight trajectory prediction based on improved Transformer model[J]. China Safety Science Journal, 2024 , 34 (12) : 74 -83 . DOI: 10.16265/j.cnki.issn1003-3033.2024.12.0497

正文

收起

0 引言

收起

近年来，随着全球经济的发展，航空运输需求显著增加，这导致飞行交通量激增，空域复杂性增加。国际民航组织提出基于航迹运行(Trajectory Based Operation，TBO)的空中交通管理模式^[1]。TBO运行模式以四维航迹为基础，在空管、机场和航空公司等相关方之间实时共享和动态维护航空器的四维航迹信息，进而实现多方协同决策，提高航班的运行效率^[2]。四维航迹预测通常是指利用航空器的当前和历史状态及其相关信息来估计未来的轨迹。提高航迹预测精度能够帮助空中交通管制员更安全、更高效地管理空域，如延误预测、冲突检测等，进而提升整体航空运输系统的安全性和效率。

航迹预测的主要方法有状态估计法、基于动力学建模的方法和基于深度学习的方法等。PREVOST ^[3]、吕波^[4]等利用卡尔曼滤波方法等单模型估计法进行航迹预测，提高了航迹预测的稳定性与实时性；ZHANG Junfeng ^[5] 、FAIRLEY^[6]等考虑航空器在不同飞行阶段的恒速、协调转弯、恒定下降等飞行模式对应的不同状态转移，采用多模型估计法进行航迹预测。然而，航空器飞行运动过程还受到复杂环境、人机交互等不确定因素的影响。FUKUDA ^[7]建立了航空器在各个飞行阶段的动力学方程并进行航迹的预测；SCHUSTER ^[8]将传统的点质量模型进行扩展，通过动态调整质量大小，减小了预测的误差。张军峰等^[9]考虑了航空器在终端区进近与着陆阶段，不同飞行模式下的受力与约束，分别建立对应的动力学方程，减小了预测的位置误差和时间误差。在实际运行中，受到气象、通信、导航和监视设备等条件的限制，影响航空器位置的因素及实时气象数据并不能及时、完整地被地面管制系统获取。基于深度学习的方法在航迹预测中逐渐受到关注，王兴隆^[10]、ZENG Weili ^[11]等利用深度学习中的长短时记忆网络(Long Short-Term Memory，LSTM)模型进行航迹预测并取得了较好的预测效果；2017年，ASHISH等^[12]将注意力机制(Attention)应用到神经网络中，提出一种名叫Transformer的模型，该模型既考虑数据的时序关系，又利用Attention来捕获数据各个部分的依赖关系。GUO Dongyue等 ^[13]利用Transformer模型预测航迹，有效提高了预测精度。冯霞等 ^[14]应用Informer模型作了关于长时四维航迹预测的研究。

针对现有的四维航迹预测未充分考虑序列航迹数据之间存在关联关系等问题，因此，笔者拟提出改进Transformer模型，在解码器和编码器输入的卷积部分加入扩张卷积，扩大航迹信息维度并增加邻近航迹点的相关性；利用多头稀疏自注意力机制减小Transformer模型计算复杂度，以期提高经度、维度和高度等航迹特征的预测准确性和计算效率。

1 航迹预测描述

收起

航迹预测本质是多变量时间序列的预测，即利用给定的历史航迹信息预测未来一段时间的航迹点特征。航迹预测本质是预测多变量时间序列，即利用给定的历史航迹信息预测未来一段时间的航迹点特征。历史航迹表示如下式：

(1)$\boldsymbol{O}_{m，q}\left(t_{0}\right)=\left(\begin{array}{cccc}o_{t_{-m+1}，1} & o_{t_{-m+1}，2} & \cdots & o_{t_{-m+1}，q} \\o_{t_{-m+2}，1} & o_{t_{-m+2}，2} & \cdots & o_{t_{-m+2}，q} \\\vdots & \vdots & & \vdots \\o_{t_{o}，1} & o_{t_{o}，2} & \cdots & o_{t_{o}，q}\end{array}\right)$

式中：t₀为当前时刻；m为历史航迹序列长度；q为历史航迹信息的维度；

o t i ， j

∈O_m_，_q (t₀ )(-m+1≤i≤0，1≤j≤q)表示时刻t_i的第j维历史航迹信息点；预测航迹表示如下式：

(2)$\boldsymbol{P}_{n，r}\left(t_{0}\right)=\left(\begin{array}{cccc}p_{t_{1}，1} & p_{t_{1}，2} & \cdots & p_{t_{1}，r} \\p_{t_{2}，1} & p_{t_{2}，2} & \cdots & p_{t_{2}，r} \\\vdots & \vdots & & \vdots \\p_{t_{n}，1} & p_{t_{n}，2} & \cdots & p_{t_{n}，r}\end{array}\right)$

式中：n为预测航迹序列的长度；r为预测航迹点特征的维度；

p t i ， j

∈P_n_，_r (t₀)(1≤i≤n，1≤j≤r)为时刻t_i的第j维预测航迹点。特别地，当不需要强调特征维度时，将O_m_，_q (t₀)和P_n_，_r (t₀)分别记为O_m (t₀)和P_n (t₀)。航迹预测过程表示如下式：

(3)

P n (t 0) = A O m (t 0)

式中

A (·)

为预测模型。

2 广播式自动相关监视数据预处理

收起

广播式自动相关监视(Automatic Dependent Surveillance-Broadcast，ADS-B)格式化数据包含航空器坐标系位置、目标地址、几何高度、品质因数、侧滚角、气压高度、空速、真实空速、几何垂直速率及磁航向等信息。选取经度、纬度、高度、航向、空速以及航班编号等5个维度作为历史航迹信息，选取经度、纬度和高度作为预测航迹点的特征。

ADS-B格式化数据是根据欧盟航空交通管制系统监控数据交换标准，由航空器机载端按照报文协议自动向周围广播的^[15]。地面接收站将处理收到的ADS-B信息，经传输网络送往空管监视应用系统，生成综合航迹，并显示在终端上。由于设备、环境等因素的干扰，ADS-B航迹数据往往不完整，存在缺失、相邻航迹点之间的采样时间间隔不相同等问题。因此，需要对采集的ADS-B航迹数据进行异常值剔除、插值以及归一化处理。

2.1 异常数据的处理

采用轨迹平滑方法航迹异常值剔除。给定滑动窗口大小z，偏差阈值

α

，历史航迹点个数M，计算时刻

t i

的第

j (1 ≤ j ≤ q)

维历史航迹信息

o t i ， j

的平滑值f(

o t i ， j

(4)

f (o t i ， j) = ∑ i = a b o t i ， j b - a

式中：a为0~i-

z 2

的最大值，即a=max

0 ， i - z 2

;b为M~i+

z 2

+1的最小值即b=min

M ， i + z 2 + 1

;[·]为向下取整符号；q为输入序列的长度；计算平滑后的航迹与原始航迹的绝对值偏差

ε t i ， j = | o t i ， j - f (o t i ， j) |

，并与阈值

α

比较，当

ε t i ， j

>α时，认定

o t i ， j

为异常值，删除该值。

2.2 样条插值

针对航迹数据不规整，时间间隔不相同的问题，对经度、维度、高度、方向、速度等5维信息特征分别采用3次样条插值法^[16]处理。给定时间间隔Δt，构建3次样条函数：

(5)

g (x) = a x 3 + b x 2 + c x + d

以时刻

t i

的第

j (1 ≤ j ≤ q)

维历史航迹信息点

o t i ， j

与相邻点

o t i + 1 ， j

作为边界节点带入

g (x)

中，根据连续性条件，计算出对应区间的系数a，b，c和d，得到对应于区间[

t i ， t i + 1

]的插值函数并计算插值点数；按照给定的时间间隔，计算出对应时间点的数值。更新区间边界为

[t i + k * Δ t ， t i + 2] ，

重复以上步骤，直到遍历所有历史航迹点。

2.3 数据归一化

为消除量纲差异、避免权重不平衡问题，对初始数据进行线性变换，使结果映射到[0，1]的范围。给定M个历史航迹点和特征维度j(1≤j≤q)，分别计算时刻

t i (1 ≤ i ≤ M)

的航迹特征

o t i ， j

(6)

n o r m (o t i ， j) = o t i ， j - o m i n o m a x - o m i n

式中

o m i n = m i n {o t i ， j} i = 1 M

和

o m a x = m a x {o t i ， j} i = 1 M

分别为第j维历史航迹信息点中的最大值和最小值。以经度数据为例，缺失值(Not Available，NA)及处理后的信息见表1。

3 改进的Transformer模型构建

收起

3.1 系统框架构建

Transformer模型主要由编码器和解码器2部分组成。编码器中的嵌入层、注意力机制层与前馈层将标准化历史航迹数据抽象成高维数据并进行调参计算；再利用解码器输出标准化的预测数据；通过数据反归一化处理输出预测航迹。

改进Transformer模型架构中编码操作和解码操作，构建四维航迹预测的系统框架如图1所示，其中，黑色为卷积块的改进用于扩大模型对历史航迹点的感知范围；灰色为注意力机制层引入的多头概率稀疏方法。

为统计航迹序列的关联关系，在传统Transformer模型中，编码器与解码器的嵌入层与注意力机制层之间增加扩张卷积层。记

O' m ， d (t 0)

表示当前时刻

t 0

长度为m，历史航迹

O m ， q (t 0)

经过嵌入层升高维度后得到的d维数据；

O ″ m ， d (t 0)

表示

O' m ， d (t 0)

经过卷积层后的数据。卷积过程表示如下：

(7)

O ″ m ， d (t 0) = C o n v 2 d O' m ， d (t 0)

此外，为提高计算效率，引入Informer模型中的多头概率稀疏自注意力机制计算序列特征数据的权重见下式：

(8)

B ″ m ， d (t 0) = S p a r A t t e n O ″ m ， d (t 0)

3.2 卷积块

卷积块包含普通卷积与扩张卷积2层，如图2所示。用NormConv2d表示普通卷积层，ExtenConv2d表示扩张卷积层，则式(7)表示为：

(9)

C o n v 2 d = E x t e n C o n v 2 d · N o r m C o n v 2 d

普通卷积层用于学习相邻航迹点的特性。

O ~' m ， d (t 0)

为

O' m ， d (t 0)

经过普通卷积作用后的数据，见下式：

(10)

O ~' m ， d t 0 = N o r m C o n v 2 d O' m ， d t 0

给定

o' t i ， j ∈ O' m ， d (t 0)

和权重矩阵

W ∈ R κ × d

，首尾各加一行0向量：

(11)

o ~' t i ， j = ∑ s = 1 d ∑ k = 1 κ o' t i - k + 1 ， j - s + 1 * w k ， s

式中：

o ~' t i ， j

为

O ~' m ， d (t 0)

每个航迹点的数据；κ为卷积核的大小，

i ∈ [- m + 1，0] ， j ∈ [1 ， d]

。

扩张卷积层用于学习间隔一定距离航迹点的特性，见下式：

(12)

O ″ m ， d (t 0) = E x t e n C o n v 2 d O ~' m ， d (t 0) ， l

具体过程见下式：给定

o ~' t i ， j ∈ O ~' m ， d (t 0)

，权重矩阵

W ∈ R κ × d

和扩张率

l

，得到：

(13)

o ″ t i ， j = ∑ d = 1 D ∑ κ = 1 κ o ~' t i + κ (l - 1) ， j + d (l - 1) * w κ ， d

3.3 多头概率稀疏自注意力

3.3.1 多头自注意力

Transformer模型的Attention模块由自注意力机制层、归一化层以及残差连接组成。给定

1 * m

的行向量

v = (v 1 ， v 2 ， … ， v m) ， A = (a 1 ， a 2 ， … ， a m) = s o f t m a x v

，元素

a i = e v i ∑ i = 1 m e v i

。自注意力机制包含3步。第1步，在时刻

t 0

，将输入的数据

O ″ m ， d (t 0)

分别与实数空间

R d × m

中设定的网络参数

W Q ， W K

和

W V

加权运算，得到实数空间

R m × m 中

的查询矩阵Q、键矩阵K、值矩阵V，标准自注意力机制如图3所示；第2步分别计算查询矩阵

Q

中的第

i

个

(i = 0，1 ， … ， - m + 1)

行向量

Q t i ， *

对应的向量见下式：

(14)

A (Q t i ， *) = s o f t m a x Q t i ， * K T d K

式中

d K

为矩阵K的维度。第3步，分别计算对应的标准注意力机制权重B所对应的行向量

β t i (i = 0，1 ， … ， - m + 1)

，见下式：

(15)

β t i = A t t e n Q ， K ， V = A (Q t i) V

记h为自注意力的头数，它是在自注意力机制的第1步中，将ℝ^d^×^m空间中的网络参数

W Q t i

，

W K t i

和

W V t i

变换为h组

W Q 1

，

W K 1

，W^V;…;

W Q h

，

W K h

，

W V h

，分别与数据O″_m_，_d (t₀)加权运算，得到ℝ^m^×1空间中的h组即：

Q t i 1) ， K t i 1 ， V t i 1); …; Q t i h) ， K t i h ， V t i h

为方便描述，将第l(1≤l≤h)头对应的矩阵表示为{

Q t i l

，

K t i l

)，

V t i l} i = - m + 1 0

，简记为{Q^l，K^l，V^l}。多头自注意力如图4下半部分所示。

3.3.2 概率稀疏自注意力

记

u = c * l n (m)

，其中，c为恒定采样因子。概率稀疏自注意力是从

Q

中筛选

u

个重要的

Q

，计算对应的A(

Q

);而将其余m-u个A用

V

中对应的m-u个元素的平均值替代，从而将自注意力的时间复杂度降至

O (d m l n m

)。这2组A

(Q)

和A的计算方法如下：

第1组，对每个

l ∈ [1 ， n]

，从长度为m的序列

{K t i l} i = - m + 1 0

中，随机采样

u

个元素组成采样集

K'

，计算

M - (Q t i l ， K)

，见下式：

(16)

M - Q t i l ， K = m a x K ∈ K' Q t i l K T d K - 1 m ∑ K ∈ K' Q t i l K T d K

从序列

M - (Q t i l ， K) i = - m + 1 0

中选取前

u

个最大

M - (Q t i l ， K)

值对应的元素组成

Q'

;对每个

Q ∈ Q'

利用式(13)分别计算

A (Q)

。

第2组，对剩余的

m - u

个A，利用下式计算：

(17)

A = s o f t m a x V - t i d K t i

式中

V - t i = ∑ i = - m + 1 0 V t i l m

为V^l的均值。

利用式(14)计算第

l

头

(l ∈ [1 ， n])

的权重

B' l

对应的行向量

β' l

，再把

B' l

按列依次拼接得到

m × d 维

矩阵

B''

，与网络参数

W 0 ∈ R d × d

相乘得到

m × d

维矩阵

B'''

。

3.4 解码器

将当前时刻

t 0

历史航迹标准化后，扩充标准化后的数据，添加长度为n的0向量，得到解码器的输入数据，如图5所示。

掩码后的数据依次经过嵌入层、卷积块、掩码多头概率稀疏自注意力机制层得到矩阵

Q

。接着，将该矩阵与编码器传入的K，V组合，传入下一个多头概率稀疏自注意力层，继续计算注意力权重得到关系矩阵

B'''

。最后，通过前馈层进行训练得到最优模型参数，输入到线性层和激活函数，进而输出标准化的预测数据。

3.5 损失函数

在前馈层，将预测的航迹与真实值进行对比并计算损失函数，进行反向传播，调整优化训练集中各参数，得到最优模型。文中采用均方误差(Mean Square Error，MSE)作为损失函数，见下式：

(18)

M S E = 1 d 1 n ∑ i = 1 n ∑ j = 1 d (p - t i ， j - p ˙ t i ， j) 2

式中：

p - t i ， j

为航迹点

t i

的特征j对应的归一化之前的预测值；

p ˙ t i ， j

为相应的反归一化之前的真实值。

4 预测模型参数与结果分析

收起

4.1 数据集与预测模型参数

文中选取机型为空客A321，时间段为2023年11月11日—2024年1月5日，共30天的航班运行ADS-B数据作为航迹数据集，起飞机场和目的地机场分别为洛杉矶国际机场和肯尼迪国际机场。航迹数据包含航空器起飞爬升、巡航及进近各阶段共135 458个航迹点。

将这些航迹点分为训练集、验证集和测试集。输入数据包括纬度，经度，高度，速度，方向、时刻的六维特征。输出按时序预测的经度、纬度和高度四维特征值。编码器堆叠2层卷积块、多头概率稀疏自注意力机制与前馈层；解码器设置1层卷积块多头概率稀疏自注意力机与前馈层。其中，l、d、h、训练周期、批量大小、学习率初值和激活函数等设置见表2。

预测模型运行的软硬件环境见表3。

4.2 基准模型

选择航迹预测常用的Transformer模型、Informer模型、LSTM+卷积网络(Convolution Neural Network，CNN)模型以及LSTM+CNN+ Attention等4种神经网络模型作对比F₁、F₂ 、F₃、F₄。各个模型中，网络训练周期、批量大小、学习率初值和激活函数等参数设定同表2一致，其余参数设定如下：

1) 模型F₁:编码器堆叠2层多头自注意力机与前馈层，解码码器设置1层多头自注意力机与前馈层。

2) 模型F₂:编码器堆叠2层多头概率稀疏自注意力机与前馈层，解码码器设置1层多头概率稀疏自注意力机与前馈层。

3) 模型F₃:基于LSTM搭建的框架，设定32个隐藏单元、2层LSTM。

4) 模型F₄:在LSTM的框架中加入CNN和Attention，设定256个隐藏单元、2层LSTM网络。

4.3 评价指标

采用均方根误差(Root Mean Square Error，RMSE)和平均绝对误差(Mean Absolute Error，MAE)作为误差评价指标。其中，RMSE先对误差进行平方的累加后再开方，放大了较大误差之间的差距，MAE反映的是真实误差，给予误差平等权重，不会受到极端偏差的影响，指标的计算见下式：

(19)

R M S E = 1 d 1 n ∑ i = 1 n ∑ j = 1 d (p - t i ， j - p ˙ t i ， j) 2

(20)

M A E = 1 d 1 n ∑ i = 1 n ∑ j = 1 d p - t i ， j - p ˙ t i ， j

式中：

p - t i ， j

为航迹点

t i

，特征j对应的归一化之前的预测值；

p ˙ t i ， j

为相应的归一化之前的真实值。

4.4 结果分析

1) 运行效率。首先，对比模型F₁与改进Transformer模型(简记为模型F)的运行效率差异。由于模型运行的速度随着数据集的增加而增大，为统计不同规模数据集对应的运行时长，将历史航迹分2组，并设置

m = 10

。第1组选取15天的历史航迹数据集共64 391个航迹点做测试，其中，前13天数据为训练集，剩余的第14天和第15天分别为验证集和测试集；第2组选取30天的历史航迹数据集共135 458个航迹点做测试，其中，前28天数据为训练集，剩余的第29和第30天分别为验证集和测试集。

经过多轮测试，各个模型的运行时间统计见表4。第1组中，预测所用的整体时间不超过160s，每epoch平均时间不超过16 s。其中模型F₁平均运行时间为15.28 s，模型F平均运行时间为13.08 s。第2组中，预测所用的整体时间不超过360 s，每epoch平均时间不超过36 s，其中，模型F₁平均运行时间为35.31 s，模型F运行时间为13.08 s。相比于模型F₁，运行效率提升14.4%。

2) 预测偏差分析。选取30天的历史航迹作为数据集，设置n为1，对比5个模型预测的纬度、经度和高度等3个特征对应的评价指标MAE和RMSE，见表5。此外，“平均”一列给出了各个模型对纬度、经度和高度等3个特征对应的评价指标 MAE 和 RMSE 偏差的平均值。

模型F预测的纬度和高度对应的 MAE 值分别为0.018和0.015，均小于其他基准模型的对应值。模型F₄预测的经度对应的MAE值(为0.018)最小，模型F的对应MAE值为0.027，与之相比高0.011;且预测的MAE的平均偏差为 0.021，相比其他基准模型均减少，与模型F₁的预测平均偏差0.084相比，减小0.063。

模型F与其他基准模型相比，预测的经度、纬度和高度对应的RMSE值均减少；且预测的RMSE的平均偏差为0.027，与模型F1预测平均偏差0.099相比，减小0.072。

图6为航迹的三维可视化结果。其中，图6a为历史航迹的三维可视化，图6b为预测航迹高度和位置(经度和纬度)的三维可视化。模型F₁、模型F₂的预测曲线过于平滑，位置偏差也较大；而模型F₃的预测航迹与真实航迹位置偏差较大；模型F₄的预测曲线在进近下降阶段位置偏差较大。模型F对拐点、曲率以及位置偏差方面均表现出更好的预测性能和拟合效果。

图7为预测航迹高度的可视化结果。根据真实航迹中航空器的高度变化，将预测航迹分为3个阶段：起始爬升阶段(预测航迹点1至预测航迹点270)、巡航阶段(预测航迹点271至预测航迹点3 450)及进近下降阶段(预测航迹点3 450至预测航迹点3 750)。从图6b可以看出，起始爬升阶段，模型F与模型F₂的预测航迹与真实航迹高度偏差较小，模型F₁、模型F₂和模型F₃的预测航迹与真实航迹偏差较大。巡航阶段，模型F与模型F₄灵敏地捕捉到了航空器平飞过程中高度的调整，模型F₁、模型F₂和模型F₃的预测高度变化的灵敏度较为迟缓，且与真实航迹对应的高度偏差较大。进近下降阶段，模型F与模型F₁、模型F₃、模型F₄的预测航迹与真实航迹高度偏差较小，模型F₂的预测航迹与真实航迹偏差较大。对应于各个飞行阶段，预测模型的MAE和RMSE值参见表6。

模型F₁预测航迹的特征偏差较大，后续主要考虑模型F₂、模型F₃和模型F₄。

3) 预测序列长度的敏感性分析。为对比不同n对模型的影响，分别设置n=1、16、32、48、64、80、96步，对应的时长5s、1min20s、2min40s、3min40s、4min、6min40s、8min。采用欧氏距离计算航迹特征的总体偏差D见下式：

(21)

D = ∑ i = 1 | T E | (p - t i ， 1 - p ˙ t i ， 1) 2 + (p - t i ， 2 - p ˙ t i ， 2) 2 + (p - i ， 3 - p ˙ t i ， 3) 2 | T E |

式中：

p ˙ t i ， 1 、 p ˙ t i ， 2 、 p ˙ t i ， 3

为归一化后第

t i

个航迹点的纬度、经度和高度对应的真实值；

p - t i ， 1 、 p - t i ， 2 、 p - t i ， 3

为归一化后第

t i

个航迹点的纬度、经度和高度的预测值；|TE|为预测集的元素个数。

图8为航迹特征的总体偏差随预测序列长度的变化趋势。从图8可以看出，模型F₄和模型F的预测航迹特征的总体偏差随预测序列长度的增加而增大；模型F₂和模型F的预测航迹特征的总体偏差随预测序列长度的增加基本保持平稳。当预测序列长度为1时，模型F₄预测航迹特征的总体偏差是基准模型中最小的，偏差值为0.049 6。模型F对应的偏差值为0.041 3，与之相比，减小0.008 3。预测序列长度为其他设定步长时，改进Transformer模型相比于其他模型的变化参见表7。

5 结论

收起

1) 相比于模型F₁、模型F₂、模型F₃和模型F₄等4种神经网络模型，模型F时间性能提高14.4%;此外，采用RMSE和MAE作为评价指标，模型F对经度、纬度和高度等航迹特征预测的偏差更小，预测的稳定性更高。

2) 模型F预测表现优于传统的深度学习模型，包括模型F₁、模型F₂、模型F₃，其平均RMSE和MAE分别为0.027和0.021，比模型F₂的平均偏差分别减小0.009和0.012;比模型F₃的平均偏差分别减小0.031和0.024，比模型F₄的平均偏差分别减小0.001和0.002。此外，对于不同的预测序列长度的预测任务，改进Transformer模型的欧氏距离特征偏差相比于平均值，总偏差减少0.37。

3) 在起飞爬升阶段，模型F与模型F₄的预测航迹相比，经度、纬度和高度特征的偏差稍大，可在后续研究中通过进一步调参优化。

基金

收起

国家自然科学基金资助(52272356)
国家重点研发计划项目(2022YFB4300904)
国家空管委项目(ZKG2023-03)
中央高校基本业务费自然科学重点项目(3122022101)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

International Civil Aviation Organization.Global air traffic management operational concept[Z]. 2005-05-02.

[2]

张洪海, 汤一文, 许炎. TBO模式下终端区进场交通流优化模型与仿真分析[J]. 航空学报, 2020, 41(7):325-338.

ZHANG

Honghai

, TANG

Yiwen

, XU

Yan

. Optimizing arrival traffic flow in airport terminal airspace under trajectory based operation[J]. Acta Aeronautica et Astronautica Sinica, 2020, 41(7): 325-338.

[3]

PREVOST

C G

, DESBIENS

, HAGNON

. Extended Kalman filter for state estimation and trajectory prediction of a moving object detected by an unmanned aerial vehicle[C]. American Control Conference, 2007: 1805-1810.

[4]

吕波, 王超. 改进的扩展卡尔曼滤波在航空器4D航迹预测算法中的应用[J]. 计算机应用, 2021, 41(增1):277-282.

LYU

, WANG

Chao

. Application of improved extended Kalman filtering in aircraft 4D trajectory prediction algorithm[J]. Journal of Computer Applications, 2021, 41(S1): 277-282.

[5]

ZHANG

Junfeng

, WU

Xiaoguang

, WANG

Fei

. Aircraft trajectory prediction based on modified interacting multiple model algorithm[J]. Journal of Donghua University: English Edition, 2015, 32(2): 180-184.

[6]

FAIRLEY

, MCGOVERN

. A kinematic/kinetic hybrid airplane simulator model: draft[C]. Proceedings of the ASME International Mechanical Engineering Congress & Exposition, 2008: 11-20.

[7]

FUKUDA

, SHIRAKAWA

, SENOGUCHI

. Development and evaluation of trajectory prediction model[C]. Proceedings of the 27^th International Congress of the Aeronautical Sciences, 2010: 19-24.

[8]

SCHUSTER

. Trajectory prediction for future air traffic management-complex manoeuvres and taxiing[J]. The Aeronautical Journal, 2015,119: 121-143.

[9]

张军峰, 葛腾腾, 陈强, 等. 离场航空器四维航迹预测及不确定性分析[J]. 西南交通大学学报, 2016, 29(4): 800-806.

ZHANG

Junfeng

, GE

Tengteng

, CHEN

Qiang

, et al. 4D trajectory prediction and uncertainty analysis for departure aircraft[J]. Journal of Southwest Jiaotong University, 2016, 29(4): 800-806.

[10]

王兴隆, 许晏丰. 基于AM-LSTM的飞行区航空器滑行轨迹预测与冲突识别[J]. 中国安全科学学报, 2024, 34(1):116-124.

WANG

Xinglong

, XU

Yanfeng

. Aircraft taxiing trajectory prediction and conflict risk identification in airfield area based on AM-LSTM[J]. China Safety Science Journal, 2024, 34(1): 116-124.

[11]

ZENG

Weili

, QUAN

Zhibin

, ZHAO

Ziyu

, et al. A deep learning approach for aircraft trajectory prediction in terminal airspace[J]. IEEE Access, 2020,8: 151 250-151 266.

[12]

VASWANI

, SHAZEER

, PARMAR

, et al. Attention is all you need[C]. In Advances in Neural Information Processing Systems, 2017: 6000-6010.

[13]

GUO

Dongyue

, ZHANG

Zheng

, ZHANG

Jianwei

, et al. FlightBERT++: a non-autoregressive multi-horizon flight trajectory prediction framework[C]. The Thirty-Eighth AAAI Conference on Artificial Intelligence, 2023: 127-134.

[14]

冯霞, 孙琦琦, 左海超. 基于Informer的客机长时4D航迹预测方法[J]. 交通信息与安全, 2023, 41(4):111-121.

FENG

Xia

, SUN

Qiqi

, ZUO

Haichao

. A method for predicting long-term 4D trajectory of airplanes based on Informer[J]. Journal of Transport Information and Safety, 2023, 41(4): 111-121.

[15]

陈万通, 吴多, 刘庆, 等. 基于改进PF算法的ADS-B风场反演[J]. 传感技术学报, 2023, 36(7):1086-1091.

CHEN

Wantong

, WU

Duo

, LIU

Qing

, et al. ADS-B wind field inversion based on improved PF algorithm[J]. Chinese Journal of Sensors and Actuators, 2023, 36(7): 1086-1091.

[16]

张小江, 高秀华. 三次样条插值在机器人轨迹规划应用中的改进研究[J]. 机械设计与制造, 2008(9):170-171.

ZHANG

Xiaojiang

, GAO

Xiuhua

. The research on the cubic splines in robot' s trajectory planning[J]. Machinery Design and Manufacture, 2008(9): 170-171.

2024年第34卷第12期

PDF下载

404

173

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.12.0497

接收时间：2024-09-11
首发时间：2025-07-09
出版时间：2024-12-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-09-11
修回日期：2024-11-08

基金

国家自然科学基金资助(52272356)

国家重点研发计划项目(2022YFB4300904)

国家空管委项目(ZKG2023-03)

中央高校基本业务费自然科学重点项目(3122022101)

作者信息

¹ 中国民航大学空中交通管理学院，天津 300300

² 北方自动控制技术研究所，山西太原 030006

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.12.0497

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

硬件环境	主频/GHz	2.10
	内存/G	120
	显存/GB	24
软件环境	编程语言	Python 3.8
软件环境	基础框架	PyTorch 2.0.0