中国安全科学学报

类型	参数	采样率/ (次·s^-1)
动力学参数	计算空速(Computed Airspeed， CAS)/kn	4
垂直加速度(Vertical Acceleration， VRTG)/g	8
下降率(Altitude Rate，ALTR)/ (ft·min^-1)	4
偏航角(Drift Angle，DA)/(°)	4
攻角(Angle Of Attack， AOA)/(°)	4
气压矫正高度(Baro correct Altitude，BAL)/ft	4
磁航向(Magnetic Heading， MH)/(°)	4
横向加速度(Cross Track Acceleration，CTAC)/g	16
操纵参数	主驾驶杆位置(Control Column Position Capt，CCPC)/Counts	2
最大选择高度(Selected Altitude， ALTS)/ft	1
选择垂直速度(Selected Vertical Speed，VSPS)/(ft·min^-1)	1
选择马赫数(Selected Mach，MNS)	1
方向舵踏板位置(Rudder Pedal Position，RUDP)	2
推力手柄角度(Power Lever Angle， PLA)/(°)	4
环境参数	风向(Wind Direction，WD)/(°)	4
风速(Wind Speed，WS)/kn	4
配置参数	扰流板位置(Roll Spoiler，SPL)/(°)	1
方向舵位置(Rudder Position， RUDD)/(°)	2
襟翼位置(T.E. Flap Position， FLAP)	1
副翼位置(Aileron position， AIL)/(°)	1
俯仰安定面位置(Pitch Trim Position，PTRM)/(°)	1

类型	参数	采样率/ (次·s^-1)
动力学参数	计算空速(Computed Airspeed， CAS)/kn	4
垂直加速度(Vertical Acceleration， VRTG)/g	8
下降率(Altitude Rate，ALTR)/ (ft·min^-1)	4
偏航角(Drift Angle，DA)/(°)	4
攻角(Angle Of Attack， AOA)/(°)	4
气压矫正高度(Baro correct Altitude，BAL)/ft	4
磁航向(Magnetic Heading， MH)/(°)	4
横向加速度(Cross Track Acceleration，CTAC)/g	16
操纵参数	主驾驶杆位置(Control Column Position Capt，CCPC)/Counts	2
最大选择高度(Selected Altitude， ALTS)/ft	1
选择垂直速度(Selected Vertical Speed，VSPS)/(ft·min^-1)	1
选择马赫数(Selected Mach，MNS)	1
方向舵踏板位置(Rudder Pedal Position，RUDP)	2
推力手柄角度(Power Lever Angle， PLA)/(°)	4
环境参数	风向(Wind Direction，WD)/(°)	4
风速(Wind Speed，WS)/kn	4
配置参数	扰流板位置(Roll Spoiler，SPL)/(°)	1
方向舵位置(Rudder Position， RUDD)/(°)	2
襟翼位置(T.E. Flap Position， FLAP)	1
副翼位置(Aileron position， AIL)/(°)	1
俯仰安定面位置(Pitch Trim Position，PTRM)/(°)	1

输入：数据集 $D = {u 1 ， u 2 ， … u N}$ ，其中， $u n$ 表示第n个航段的着陆位置，航段(样本)数量为N
从样本集中随机选择一个航段作为初始质心 $β 1$ 令 $C 1 = {x 1}$ for $j = 2，3 ， … ， N$ 计算航段 $u j$ 到每个质心 $μ i$ 的距离： $d j i = ‖ u j - μ i ‖ 2$ ; if最近距离 $a r g m i n i ∈ {1，2 ， … ， d j i}$ > 4.8 km then 形成一个新的簇 $C s = {u j}$ ; else 将航段 $u j$ 分配到距离最近的簇中； end if end for for $i = 1，2 ， … ， d i j$
计算簇中所有样本的均值： $β' i = 1 \| C i \| ∑ u ∈ C i u i$ ; 将质心 $β i$ 更新为 $β' i$ ; end for 直到所有航段都被分配到相应的簇

输入：数据集 $D = {u 1 ， u 2 ， … u N}$ ，其中， $u n$ 表示第n个航段的着陆位置，航段(样本)数量为N
从样本集中随机选择一个航段作为初始质心 $β 1$ 令 $C 1 = {x 1}$ for $j = 2，3 ， … ， N$ 计算航段 $u j$ 到每个质心 $μ i$ 的距离： $d j i = ‖ u j - μ i ‖ 2$ ; if最近距离 $a r g m i n i ∈ {1，2 ， … ， d j i}$ > 4.8 km then 形成一个新的簇 $C s = {u j}$ ; else 将航段 $u j$ 分配到距离最近的簇中； end if end for for $i = 1，2 ， … ， d i j$
计算簇中所有样本的均值： $β' i = 1 \| C i \| ∑ u ∈ C i u i$ ; 将质心 $β i$ 更新为 $β' i$ ; end for 直到所有航段都被分配到相应的簇

参数	max	min	Mean	Median	VAR	STD
AIL	86.621 19	78.131 12	83.880 15	83.716 16	1.745 762	3.047 684
AOA	2.636 699 9	-4.790 007 6	-2.576 91	-2.812 48	1.409 389	1.986 378
CAS	120.937 5	108.25	116.678 3	116.812 5	2.474 43	6.122 802
CTAC	0.044 942	-0.028 3	0.012 701	0.017 586	0.020 799	0.000 433
MH	-60.483 4	-63.131 1	-61.945 6	-61.955 6	0.690 906	0.477 352

参数	max	min	Mean	Median	VAR	STD
AIL	86.621 19	78.131 12	83.880 15	83.716 16	1.745 762	3.047 684
AOA	2.636 699 9	-4.790 007 6	-2.576 91	-2.812 48	1.409 389	1.986 378
CAS	120.937 5	108.25	116.678 3	116.812 5	2.474 43	6.122 802
CTAC	0.044 942	-0.028 3	0.012 701	0.017 586	0.020 799	0.000 433
MH	-60.483 4	-63.131 1	-61.945 6	-61.955 6	0.690 906	0.477 352

模型参数	默认值	搜索范围	优化值
学习率	0.1	[0.01，0.1]	0.05
最大深度	—	[3，5]	5
叶子节点个数	30	(15，30，50，100)	30

模型参数	默认值	搜索范围	优化值
学习率	0.1	[0.01，0.1]	0.05
最大深度	—	[3，5]	5
叶子节点个数	30	(15，30，50，100)	30

评价指标	计算公式	符号含义
A	$T P + T N T P + T N + F P + F N$	$T P$ 为硬着陆预测正确的数量； $T N$ 为正常着陆预测正确的数量； $F P$ 为正常着陆被错误预测为硬着陆的数量； $F N$ 为硬着陆被错误预测为正常着陆的数量；P_h为硬着陆预测结果的概率；P_n为正常着陆预测结果的概率
P	$T P T P + F P$
R	$T P T P + F N$
F₁分数	$2 × P × R P + R$
AUC	P (P_h> P_n)

评价指标	计算公式	符号含义
A	$T P + T N T P + T N + F P + F N$	$T P$ 为硬着陆预测正确的数量； $T N$ 为正常着陆预测正确的数量； $F P$ 为正常着陆被错误预测为硬着陆的数量； $F N$ 为硬着陆被错误预测为正常着陆的数量；P_h为硬着陆预测结果的概率；P_n为正常着陆预测结果的概率
P	$T P T P + F P$
R	$T P T P + F N$
F₁分数	$2 × P × R P + R$
AUC	P (P_h> P_n)

样本平衡前/后	P/%	A/%	R/%	F₁分数	AUC
样本平衡前	92	5	15	0.07	0.58
样本平衡后	99	92	88	0.90	0.99

样本平衡前/后	P/%	A/%	R/%	F₁分数	AUC
样本平衡前	92	5	15	0.07	0.58
样本平衡后	99	92	88	0.90	0.99

参数特征	类型	出现次数
max_RUDD	配置参数	28
min_PTRM	配置参数	26
max_ALTS	操纵参数	22
var_PTRM	配置参数	20
min_ALTS	操纵参数	20
min_RUDD	配置参数	18
var_DA	动力学参数	18
var_WD	环境参数	17
var_RUDP	操纵参数	17
std_MNS	操纵参数	16

参数特征	类型	出现次数
max_RUDD	配置参数	28
min_PTRM	配置参数	26
max_ALTS	操纵参数	22
var_PTRM	配置参数	20
min_ALTS	操纵参数	20
min_RUDD	配置参数	18
var_DA	动力学参数	18
var_WD	环境参数	17
var_RUDP	操纵参数	17
std_MNS	操纵参数	16

基于LightGBM-SHAP的民机硬着陆可解释预测

PDF下载

肖国松 ¹^,² , 刘嘉琛 ¹^,³ , 张元珊 ⁴ , 董磊 ¹^,²^,^** , 陈曦 ¹^,²

中国安全科学学报 | 安全工程技术 2024,34(10): 134-142

收起

中国安全科学学报 | 安全工程技术 2024, 34(10): 134-142

基于LightGBM-SHAP的民机硬着陆可解释预测

全屏

肖国松¹^,², 刘嘉琛¹^,³, 张元珊⁴, 董磊¹^,²^,^**, 陈曦¹^,²

作者信息

¹ 中国民航大学民航航空器适航审定技术重点实验室，天津 300300

² 中国民航大学科技创新研究院，天津 300300

³ 中国民航大学安全科学与工程学院，天津 300300

⁴ 中国商飞民用飞机试飞中心，上海 201323

肖国松 (1982—)，男，湖南衡阳人，硕士，实验师，主要从事航空器适航审定技术、航空发动机故障诊断及预测等方面的研究。E-mail：gsxiao@cauc.edu.cn。

陈曦，助理研究员

通讯作者:

^** 董磊(1983—)，男，天津人，博士，副研究员，主要从事民机安全性评估与适航审定技术等方面的研究。E-mail：l-dong@cauc.edu.cn。

Explainable prediction for hard landing of civil aircraft based on LightGBM-SHAP

Guosong XIAO¹^,², Jiachen LIU¹^,³, Yuanshan ZHANG⁴, Lei DONG¹^,²^,^**, Xi CHEN¹^,²

Affiliations

¹ Key Laboratory of Civil Aircraft Airworthiness Technology，Civil Aviation University of China，Tianjin 300300，China

² Science and Technology Innovation Research Institute，Civil Aviation University of China，Tianjin 300300，China

³ College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China

⁴ COMAC Flight Test Center，Shanghai 201323，China

出版时间: 2024-10-28 doi: 10.16265/j.cnki.issn1003-3033.2024.10.1123

文章导航

摘要

收起

为预防民用飞机的硬着陆超限事件，首先，收集包含动力学变量、系统性能和其他工程参数的机载快速存取记录器(QAR)数据，开展机场航段聚类、样本平衡、统计特征提取等数据处理活动；然后，基于轻量级梯度提升机(LightGBM)模型预测民机硬着陆事件，并与极限梯度提升(XGBoost)、决策树(DT)、长短期记忆网络(LSTM)模型进行综合对比；最后，利用Shapley可加性解释(SHAP)算法进一步分析硬着陆事件的致因机制及各飞行参数特征对模型预测结果的影响。结果表明：所提方法不仅显示出良好的硬着陆事件预测性能，准确率、正确率和召回率分别达到99%，92%和88%，还可针对具体航段对硬着陆预测模型的决策过程提供定量的、可视化的解释信息。

关键词

轻量级梯度提升机(LightGBM) / 民用飞机 / 硬着陆 / 快速存取记录器(QAR)数据 / 机器学习 / 可解释

Abstract

收起

In order to prevent hard landing overrun events of civil aircraft，first，data including kinematics，system performance and other engineering parameters was collected from QAR. Then QAR data processing activities such as the airport segment clustering，sample balancing and statistical feature extraction were carried out. Subsequently，LightGBM model was used to predict the hard landing events of civil aircraft，and compared with extreme gradient boosting (XGBoost)，decision tree (DT) and long short-term memory (LSTM) models. Finally，the shapley additive explanation (SHAP) algorithm was employed to identify the causal mechanisms of hard landing events and to analyze the impact of various flight parameters on the model's prediction results. The result demonstrates that the proposed model not only exhibits high accuracy and precision in predicting hard landing events (accuracy，correctness and recall reaching 99%，92% and 88%，respectively)，but also provides quantitative and visual explanation information for the decision-making process of hard landing prediction for specific flight segments.

Key words

lightweight gradient boosting machine (LightGBM) / civil aircraft / hard landing / quick access recorder (QAR) data / machine learning / explainable

引用本文

肖国松, 刘嘉琛, 张元珊, 董磊, 陈曦. 基于LightGBM-SHAP的民机硬着陆可解释预测. 中国安全科学学报, 2024 , 34 (10) : 134 -142 . DOI: 10.16265/j.cnki.issn1003-3033.2024.10.1123

Guosong XIAO, Jiachen LIU, Yuanshan ZHANG, Lei DONG, Xi CHEN. Explainable prediction for hard landing of civil aircraft based on LightGBM-SHAP[J]. China Safety Science Journal, 2024 , 34 (10) : 134 -142 . DOI: 10.16265/j.cnki.issn1003-3033.2024.10.1123

正文

收起

0 引言

收起

民用飞机(简称民机)事故统计数据显示，着陆阶段是最危险且易发生重大安全事故的飞行阶段，尽管平均只占总飞行时间的1%，但却产生31%的事故数量^[1]。硬着陆作为一类发生频繁的超限事件，会引起飞机结构损坏，甚至危及机组和乘客的生命安全^[2]。但是，BLAJEV等^[3]指出，83%的跑道偏移事故本可以通过及时作出复飞决策来避免。同时，我国民航关于确保飞行安全的“八该一反对”，第一条就明确规定“该复飞的要复飞”^[4]。因此，如果能在着陆前，甚至在到达决断高度前给出飞机着陆超限事件的预警，从而支持飞行员的复飞决策，对保障飞行安全、降低着陆事故率具有重大意义。

近年来，在飞机着陆风险的预测与识别领域，诸多学者基于数据驱动的机器学习方法开展研究，如TONG Chao^[5]和ZHANG Haochi^[6]等采用长短时记忆(Long Short-term Memory，LSTM)模型，处理空客A320/A300飞机的快速存取记录器(Quick Access Recorder，QAR)数据，发现相比于2018年的其他机器学习方法，LSTM模型拥有更高的硬着陆事件预测精度；GIL等^[7]设计了一种可部署在驾驶舱内的机器学习硬着陆事件预测系统，使用包含370种参数的航班管理系统数据库作为神经网络的输入，通过对变量的时间依赖性建模，为机组人员提供基于硬着陆事件预测的复飞决策支持；LIU Yinfu等^[8]基于波音B737-800机队的QAR数据，引入高斯混合模型聚类方法分析和评价飞行员操作特征，提出基于极限梯度提升(eXtreme Gradient Boosting，XGBoost)模型的着陆预警模型，有助于协助机组人员作出准确决策，防止飞机着陆过程中发生不安全事件。然而，国际自动机工程师学会和欧盟航空安全局陆续发布了《航空系统中人工智能的关注声明》和《面向1级& 2级机器学习的应用指南》等文件，强调在航空领域应用机器学习时开展可解释性分析的重要性^[9⇓-11]。上述硬着陆研究往往仅关注预测结果的性能指标，对机器学习模型的黑盒特性及相应的可解释分析未予以足够重视，导致研究成果缺乏在民航领域落地应用的可能。

相比之下，轻量级梯度提升机(Light Gradient Boosting Machine，LightGBM)与Shapley可加性解释(Shapley Additive exPlanation，SHAP)算法的结合在致因分析和风险预测方面取得了部分创新性理论成果。如LI Kun等^[12]采用LightGBM方法识别了不同危险因素与道路交通事故之间的致因关系，通过计算各特征的Shapley值，以可视化方法解释和评估道路交通事故的危险因素，有助于改善交通安全；SUN Deliang等^[13]构建了滑坡致灾因子数据库，基于Bayesian-LightGBM混合模型进行滑坡易发性评价，并利用SHAP算法分析模型的内在决策机制，从而探究各因子与滑坡灾害之间的关系；汪祖民等^[14]基于气象、地形、植被、人类活动4个方面的影响因子，建立森林火灾的LightGBM预测模型，并引入SHAP算法从全局和局部2个角度研究模型的可解释性，为森林火灾的防控管理提供决策参考。

因此，笔者拟综合考虑民机的硬着陆判断机制，采集相关QAR数据并进行参数处理，通过LightGBM-SHAP框架，在预测硬着陆超限事件的基础上开展可解释性分析，进一步识别硬着陆事件的致因机制及各飞行参数特征对模型预测结果的影响，以期为民用航空领域的超限事件或安全事故的研究提供新的思路。

1 民机硬着陆可解释预测方法及框架

收起

1.1 LightGBM预测模型

LightGBM是一种以梯度提升决策树(Gradient Boosting Decision Tree，GBDT)算法为基础的梯度提升模型，其基本思想是通过多个弱学习器的迭代训练构建强学习器，最终使得损失函数L的期望值最小^[15-16]。首先，需要初始化学习器

h 0 (x)

的近似函数H₀(x):

(1)

H 0 (x) = a r g m i n h 0 ∑ i = 1 N L [y i ， h 0 (x)]

式中：N为样本数量；y_i为第i个样本的实际值。数据集

D = {(x 1 ， y 1) ， (x 2 ， y 2) ， … ， (x N ， y N)}

。迭代过程中，可用负梯度

r t i

来获取第t次迭代损失的近似值，计算公式如下：

(2)

r t i = - ∂ L [y i ， H t - 1 (x i)] ∂ H t - 1 (x i)

采用平方差拟合本次迭代的损失，当前学习器

h t (x)

可近似表示为：

(3)

h t (x) = a r g m i n h t ∑ i = 1 N [r t i - h t (x)] 2

将训练样本遍历模型，在前一个学习器基础上训练一个新的决策树使学习器的损失函数最小，求解最优拟合值

α t

(4)

α t = a r g m i n h t ∑ i = 1 N L [y i ， H t - 1 (x i) + α t h t (x i)]

将拟合的学习器加权到现有模型，即可得到t次迭代更新后的强学习器：

(5)

H t (x) = H t - 1 (x) + α t h t (x)

上述过程的每次迭代都需要遍历建立的整个训练集，会导致内存过大或计算时间过多。LightGBM通过引入直方图算法、互斥特征捆绑、单边梯度采样和带深度限制的叶子生长策略等优化方法，显著提升处理高维输入特征和大数据量任务时的效率和泛化能力。

1.2 SHAP解释算法

SHAP是借鉴博弈论思想的可加性特征归因算法，通过计算机器学习模型中各个特征及其交互项的边际贡献来衡量它们的影响大小，从而解释黑盒模型的预测结果^[17-18]。每个输入特征的贡献通过计算该特征的Shapley值得到，特征k的Shapley值

φ k

定义如下：

(6)

φ k = ∑ S ⊆ R \ {k} S! (V - S - 1)! V! · [f (S) ⋃ {k}) - f (S)]

式中：V为所有特征的集合；S为不包含特征k的特征子集；

f (S)

为特征子集S的机器学习模型预测输出；

f (S) ⋃ {k}) - f (S)

为特征k的累计贡献值。

对于每个样本，机器学习模型都会产生一个预测值，SHAP算法通过线性模型的叠加从而逼近复杂的模型。对于所有特征集合V，输出解释模型

g (z' k)

来满足特征k的贡献值可加性，即：

(7)

g (z' k) = φ 0 + ∑ k = 1 N φ k z' k

式中：g为机器学习模型；

z' k ∈ 0，1 K

为一个示性函数，表示在所有K个特征中，有多少特征是该样本所在决策路径中包含的特征；

φ 0

为所有样本的预测均值；

φ k

为由式(6)计算的特征k的Shapley值。

为确保SHAP解释的准确性和合理性，解释模型

g (z' k)

需要满足以下3个性质：

1) 局域精度。即模型g对单个样本的预测值与黑箱模型对单个样本的预测值相等。

2) 缺失性。如果单个样本存在缺失值，则该样本的缺失特征对解释模型g没有影响。

3) 一致性。当模型的复杂程度发生变化时，对单个样本而言，特征的Shapley值会随该特征在新模型中贡献的变化而变化。

1.3 民机硬着陆的可解释预测框架

若要实现对民机硬着陆超限事件的预测和解释，不仅需要在建立QAR数据库的基础上开展包括着陆机场航段聚类、样本平衡、统计特征提取等数据处理活动，还需要对比分析与评估硬着陆预测模型的准确率A、正确率P、召回率R、曲线下面积(Area Under Curve，AUC)等指标，并结合实际硬着陆航段进行可解释性分析。因此，建立民机硬着陆可解释预测框架，如图1所示。

2 面向QAR数据的飞行参数处理

收起

2.1 QAR数据获取

采用的QAR数据来自美国宇航局DASHlink数据库，包含186种不同采样频率的飞机动力学参数、系统性能参数以及其他工程参数^[19]。经过译码处理并筛除不完整的航段后，获得约20 000个航段(样本)的时间序列数据。数据库中主要参数(特征)的单位、描述及采样频率等信息见表1。从表1可以看出，该数据库中各飞行参数的采样频率不同，需要降频部分参数，故将试验数据的采样频率统一设置为1次/s。

2.2 着陆机场航段聚类

由于不同机场的着陆程序和操作指南差异很大，若使用不同机场的QAR数据进行训练，机器学习模型的准确率会有所降低。通过K-均值聚类算法将同一机场的着陆航段聚集在一起成为一个簇，由于DASHlink数据库中最近的机场相距4.8km，因此，聚类算法中2个簇之间的最近距离也设置为4.8km，伪代码见表2。

2.3 硬着陆航段分类

目前，绝大部分研究仅依靠垂直加速度作为着陆超限事件的唯一评价指标。而空中客车公司飞机维修手册中新增的05-51-11-B(2)(b)条将着陆超限事件细分为多种类型，并根据多个参数和多个阈值划分不同的着陆超限事件类型^[20]。基于此，设计2种民机硬着陆判断机制对预处理的航段进行硬着陆分类，判断流程如图2所示。

2.4 异常值处理

由于记录、系统故障和噪声等问题，QAR数据中存在异常值和大量噪声，需要开展异常值处理。采用拉依达准则检测异常值并采用邻近均值法处理，有助于消除数据中的孤立异常点，异常值筛选条件以及异常值处理方法如下式：

(8)

x i j (t) = x i j (t - 1) + x i j (t + 1) 2 ， | x i j (t) - μ | ≥ 3 σ x i j (t) ， 其 他

式中：

μ

为正态分布模型中的均值；

σ

为标准差。当时间序列中存在数据距离大于

σ

的情况时，判定该数据为异常值。以左侧SPL的配置参数为例，异常值的处理效果如图3所示。

2.5 样本平衡处理

尽管硬着陆是着陆阶段最常见的超限事件之一，但与正常着陆相比硬着陆航段的占比极少。经过2.3节的硬着陆航段分类后，DASHlink数据集中的硬着陆与正常着陆占比与统计结论相同，也存在极大的不平衡，硬着陆航段样本仅占总航段的6.7%。

采用人工少数类过采样法(Synthetic Minority Over-Sampling Technique，SMOTE)来处理样本分布不均衡的问题，通过在少数类的样本之间插入新的合成样本来增加少数类的样本数^[21]。对于少数类样本

x i

，在其k近邻中找到的k个最近的少数类样本，这些近邻可通过欧几里得距离得到。对每个近邻样本x'，都可以根据

x ″ = x i + ε (x' - x i)

生成新样本。基于此，SMOTE方法可将硬着陆航段样本数量增加至与正常着陆样本平衡，以提高机器学习模型的泛化能力。

3 面向实际着陆航段的建模与分析

收起

3.1 基于决断高度的QAR数据提取

经过第2节面向QAR数据的着陆机场航段聚类、硬着陆航段分类及异常值处理等工作，还需要提取着陆阶段的飞行数据区间。根据聚类出的各机场航段数量，选用明尼阿波利斯-圣保罗国际机场作为研究对象，此机场符合IIIA类精密进近，决断高度低于30m(100 ft)或无决断高度，即飞行员能够在飞机离地高度100 ft前执行复飞决策。基于决断高度的QAR数据提取区间如图4所示。为在决断高度前对硬着陆事件做出预警，将QAR数据的提取区间设置为离地高度100ft前60s。

此外，对于含有长时间序列且特征较多的QAR数据文件，分别计算各飞行参数(特征)的最大值(Maximum，max)、最小值(Minimum，min)、平均值(Mean)、中间值(Median)、方差(Variance，VAR)以及标准差(Standard Deviation，STD)，并将每个飞行参数的统计特征分别作为新的特征进行存储，见表3。此过程不仅能提取长时间序列数据中的信息，将一个航段中的QAR数据由二维抽象为一维，也能为后续可解释性分析提供更细致的硬着陆事件致因特征。

3.2 硬着陆预测模型构建

由于QAR数据的本质还是时间序列数据，可将基于QAR数据的硬着陆预测问题抽象成时间序列分类问题。以分类问题的处理方式不仅可以区分硬着陆航段和正常航段，还可以分辨出更多的超限事件，扩大其适用范围^[22]。对于模型的输入，根据2.3节中的硬着陆航段判断机制，判断每个航段是否为硬着陆并创建字典添加标签，将正常着陆航段标记为“Class0”，硬着陆航段标记为“Class 1”。

基于LightGBM的硬着陆预测模型在训练过程中需要不断迭代进行参数调整。该模型的4个关键参数分别为学习率、最大深度、叶子节点个数、最少叶子节点样本数。在模型训练过程中，采用贝叶斯优化方法自动调整LightGBM模型的参数，在给定的搜索空间范围中，不断评估目标函数并根据已有的评估结果更新参数空间的概率分布，从而确定最优的参数组合，见表4。

硬着陆预测模型为二分类模型，预测航段是否为硬着陆航段。对于预测性能的评价指标包括：

A、P、R、F₁分数和AUC，以上5项指标的值越高，模型性能越优异，具体计算公式及含义见表5。

为评估硬着陆预测模型的性能并避免过拟合，模型采用7:3的比例划分训练集和测试集，且按照最优参数组合进行训练与测试，经过SMOTE样本平衡前后的模型评价指标见表6。未经SOMTE样本平衡训练出的预测模型尽管整体准确率较高，能达到92%，但其正确率和召回率仅为15%和5%。这是由于其准确率的主要贡献来源于该模型几乎能识别所有的正常着陆航段，但未经样本平衡的数据集中硬着陆航段过少，模型难以充分学习硬着陆航段的特点，误将硬着陆航段预测为正常着陆航段。SMOTE方法创造出了介于原始少数类样本及其近邻之间的合成样本，不仅证明了SMOTE方法的有效性，也说明LightGBM模型能够完成民机硬着陆事件的预测任务。

为研究LightGBM模型在预测精度上相较于其他方法的优劣性，选取在硬着陆预测中常用的LSTM、决策树(Decision Tree，DT)和XGBoost这3种传统机器学习模型进行对比研究，模型各项评价指标在测试集上的对比结果如图5所示。

从图5可以看出，LightGBM模型除R指标略低于XGBoost模型以外(LightGBM模型为88%，XGBoost模型为92%)，其余4项指标的得分均最高。综合对比各项指标，模型的预测精度排名为LightGBM > XGBoost > DT > LSTM，表明LightGBM模型对民机硬着陆事件的预测性能最优。

3.3 黑盒机器学习模型解释

基于LightGBM模型和贝叶斯优化建立民机硬着陆事件的黑盒预测模型。然而，单纯使用时间序列预测并不能为硬着陆等超限事件或安全事故提供可解释性。因此，基于SHAP事后解释算法，结合硬着陆航段实例对模型的预测结果进行全局解释和局部解释。

全局可解释分析通过生成特征密度蜂群图描述特征的重要性和特征效应。硬着陆特征密度蜂群图如图6所示。图6中，每个散点均代表一个航段样本的飞行参数特征；横轴表示每个航段样本对应特征的Shapley值，正值为正向贡献，负值为负向贡献，且数值越大表明该特征对样本航段的预测结果影响越大。

由图6可知：ALTS、SPL、PTRM和PLA等特征对硬着陆测输出的影响显著，涵盖飞行动力学、飞行员操作、外部环境和翼面配置等维度的参数特征。以飞机接地高度100 ft前60s的ALTS为例，ALTS值越小时，Shapley值越大，说明接地高度100 ft前60s的高度越低，越容易发生硬着陆事件；相反，飞机离地高度100 ft前60s的PTRM方差越大，Shapley值越大，说明飞机俯仰角是否稳定对硬着陆事件的影响较大。

SHAP除可全局解释之外，还解释单个的航段样本，通过局部解释分析帮助研究者进一步理解相应特征的影响程度，特征影响瀑布图描述的是从模型总体

E [f (x)]

基准值开始，加上或减去各个特征的Shapley值，以获得待解释样本航段的预测值

f (x)

。硬着陆航段A的特征影响瀑布图如图7所示。航段A在离地高度100 ft前被正确预测为硬着陆航段的概率为88.9%，从该预测结果的Shapley贡献值来看，主要是FLAP和WD对硬着陆事件预测提供正向贡献。虽然一些飞行员会在提示襟翼极限速度后晚放襟翼使飞行轨迹更加平滑，缩短进近时间，但也需要考虑自然环境因素，及时放下襟翼，保证飞机具有足够的升力以防止硬着陆事件的发生。

硬着陆航段B的特征影响瀑布图如图8所示。航段B被正确预测为硬着陆航段的概率为94.6%，此航段主要是PTRM、CCPC、RUDD等特征对硬着陆事件的预测提供正向贡献。为避免硬着陆，建议飞行员在着陆过程中保持良好稳定的俯仰姿态、飞行高度和航向的控制操作。需要注意的是，对比硬着陆航段A，硬着陆航段B的ALTS较高，这使得飞行员有足够的反应时间采取补救措施使飞机正常着陆，因此，在硬着陆航段B中ALTS对硬着陆事件预测提供的是负向贡献。

面向预测值

f (x) ≥ 0.85

的硬着陆航段，提取对预测提供正向贡献的特征，得到硬着陆超限事件致因特征的出现次数见表7。不难发现，硬着陆事件主要致因特征的类型包括配置参数和操纵参数，且与图6中基于Shapley值的特征重要度高度重合，这意味着飞行员对着陆阶段的各种数据保持要严格，对高度、角度、速度的指示要不间断地检查，发现偏差或收到硬着陆事件预测告警时修改要及时，该复飞时必须复飞，不能抱有侥幸心理。

对于正常着陆航段而言，特征影响瀑布图的局部解释信息也有指导意义。正常陆航段的特征影响瀑布图如图9所示。某正常着陆航段被预测为硬着陆航段的概率为2.3%，主要是DA、WD、BAL和PTRM对硬着陆事件预测提供负向贡献，说明此时飞机着陆构型良好，外部自然环境良好，若能注意襟翼位置的配置是否合理，则发生硬着陆事件的概率极低。

上述针对黑盒机器学习模型的解释算法能够在飞机进入决断高度之前给出硬着陆事件的告警信息及致因机制，为民用航空领域的超限事件或安全事故的研究提供新的思路。并且，对正常着陆航段的解释信息在一定程度上也可以有效降低硬着陆事件的虚警概率。

4 结论

收起

针对民机硬着陆事件产生机制不明确和传统机器学习模型的黑盒特性，设计了基于LightGBM-SHAP的民机硬着陆可解释预测框架，结果表明：

1) 在对QAR数据的飞行参数处理及数据区间提取的基础上，采用LightGBM模型能够实现对民机硬着陆事件的预测；数据平衡处理前后和与其他机器学习模型的评价指标对比结果表明：文中模型对民机硬着陆事件的预测性能最优。

2) 结合实际着陆航段，通过SHAP解释算法生成特征密度蜂群图和特征影响瀑布图，可以对LightGBM硬着陆预测模型进行可视化解释且具有良好的可重复性。

基金

收起

中央高校基本科研业务费(3122024037)
民用航空器适航审定技术重点实验室开放基金资助(SH2023101701)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

The Boeing Company. Statistical summary of commercial jet airplane accidents worldwide operations[EB/OL]. ( 2024-06-29). https://www.boeing.com/content/dam/boeing/boeingdotcom/company/about_bca/pdf/statsum.pdf. https://www.boeing.com/content/dam/boeing/boeingdotcom/company/about_bca/pdf/statsum.pdf

[2]

WANG

Lei

, REN

Yong

, WU

Changxu

. Effects of flare operation on landing safety: a study based on ANOVA of real flight data[J]. Safety Science, 2018, 102: 14-25.

[3]

BLAJEV

, CURTIS

. Go-around decision-making and execution project[EB/OL]. ( 2017-03-01). https://flightsafety.org/wp-content/uploads/2017/03/Go-around-study_final.pdf. https://flightsafety.org/wp-content/uploads/2017/03/Go-around-study_final.pdf

[4]

刘汉辉, 高扬. 中国民航的安全文化建设(之三)[J]. 中国安全科学学报, 2002, 12(3): 12-17.

LIU

Hanhui

, GAO

Yang

. Safety culture construction of civil aviation in China (part 3)[J]. China Safety Science Journal, 2002, 12(3): 12-17.

[5]

TONG

Chao

, YIN

Xiang

, LI

Jun

, et al. An innovative deep architecture for aircraft hard landing prediction based on time-series sensor data[J]. Applied Soft Computing, 2018, 73: 344-349.

[6]

ZHANG

Haochi

, ZHU

Tongyu

. Aircraft hard landing prediction using LSTM neural network[C]. the 2^nd International Symposium on Computer Science and Intelligent Control,2018:1-5.

[7]

GIL

, HERNANDEZ-SABATE

, ENCONNIERE

, et al. E-pilots: a system to predict hard landing during the approach phase of commercial flights[J]. IEEE Access, 2021, 10: 7489-7503.

[8]

LIU

Yinfu

, SUN

Ruishan

, HE

Peng

. Research on the pre-warning method of aircraft long landing based on the XGboost algorithm and operation characteristics clustering[J]. Aerospace, 2023, 10(5): DOI:10.3390/aerospace10050409.

[9]

董磊, 刘嘉琛, 陈曦, 等. 面向适航符合性的智能航电系统认证研究进展[J]. 航空工程进展, 2023, 14(3): 26-40.

DONG

Lei

, LIU

Jiachen

, CHEN

, et al. Research progress of AI-based avionics system certification for airworthiness compliance[J]. Advances in Aeronautical Science and Engineering, 2023, 14(3): 26-40.

[10]

Society of Automotive Engineers. Artificial intelligence in aeronautical systems: statement of concerns: AIR6988[R], 2021.

[11]

European Union Aviation Safety Agency. Guidance for Level 1 & 2 machine learning applications[R], 2024.3.

[12]

Kun

, XU

Haocheng

, LIN

Xiao

. Analysis and visualization of accidents severity based on LightGBM-TPE[J]. Chaos, Solitons & Fractals, 2022, 157: DOI: 10.1016/j.chaos.2022.111987.

[13]

SUN

Deliang

, WU

Xiaoqing

, WEN

Haijia

, et al. A LightGBM-based landslide susceptibility model considering the uncertainty of non-landslide samples[J]. Geomatics, Natural Hazards and Risk, 2023, 14(1): DOI: 10.1080/19475705.2023.2213807.

[14]

汪祖民, 王恺锋, 李艳志, 等. 基于LightGBM和SHAP的云南省森林火灾预测研究[J]. 消防科学与技术, 2023, 42(11): 1567-1571.

WANG

Zumin

, WANG

Kaifeng

, LI

Yanzhi

, et al. Research on forest fire prediction in Yunnan province based on LightGBM and SHAP[J]. Fire Science and Technology, 2023, 42(11): 1567-1571.

[15]

张凯, 张科. 基于LightGBM算法的边坡稳定性预测研究[J]. 中国安全科学学报, 2022, 32(7): 113-120.

ZHANG

Kai

, ZHANG

. Prediction study on slope stability based on LightGBM algorithm[J]. China Safety Science Journal, 2022, 32(7): 113-120.

[16]

Guolin

, MENG

, FINLEY

, et al. LightGBM: a highly efficient gradient boosting decision tree[C]. 31^st International Conference on Neural Information Processing Systems, 2017: 1-9.

[17]

戢晓峰, 乔新, 普永明, 等. 地铁站周边建成环境对交通事故风险的影响机制[J]. 中国安全科学学报, 2022, 32(10): 162-170.

Xiaofeng

, QIAO

Xin

, PU

Yongming

, et al. Influence mechanism of built environment around subway station traffic accident risk[J]. China Safety Science Journal, 2022, 32(10): 162-170.

[18]

AGARWAL

, MELNICK

, FROSST

, et al. Neural additive models: interpretable machine learning with neural nets[J]. Advances in Neural Information Processing Systems, 2021, 34: 4699-4711.

[19]

BRYAN

. Sample flight data[EB/OL]. ( 2012-12-04). https://c3.ndc.nasa.gov/dashlink/projects/85/resources/. https://c3.ndc.nasa.gov/dashlink/projects/85/resources/

[20]

BARDOU

, OWENS

. Hard landing, a case study for crews and maintenance personnel[EB/OL]. ( 2019-02-18). https://safetyfirst.airbus.com/hard-landing-a-case-study-for-crews-and-maintenance-personnel/. https://safetyfirst.airbus.com/hard-landing-a-case-study-for-crews-and-maintenance-personnel/

[21]

宋英华, 江晨, 李墨潇, 等. 基于改进Smote-GBDT算法的岩爆预测模型[J]. 中国安全科学学报, 2023, 33(9): 25-32.

SONG

Yinghua

, JIANG

Chen

, LI

Moxiao

, et al. Rockburst prediction model based on improved Smote-GBDT algorithm[J]. China Safety Science Journal, 2023, 33(9): 25-32.

[22]

, SHANG

Jiaxing

, ZHENG

Linjiang

, et al. IMTCN: an interpretable flight safety analysis and prediction model based on multi-scale temporal convolutional networks[J]. IEEE Transactions on Intelligent Transportation Systems, 2023, 25(1): 289-302.

2024年第34卷第10期

PDF下载

403

214

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.10.1123

接收时间：2024-06-10
首发时间：2025-07-09
出版时间：2024-10-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-06-10
修回日期：2024-08-15

基金

中央高校基本科研业务费(3122024037)

民用航空器适航审定技术重点实验室开放基金资助(SH2023101701)

作者信息

¹ 中国民航大学民航航空器适航审定技术重点实验室，天津 300300

² 中国民航大学科技创新研究院，天津 300300

³ 中国民航大学安全科学与工程学院，天津 300300

⁴ 中国商飞民用飞机试飞中心，上海 201323

通讯作者:

^** 董磊(1983—)，男，天津人，博士，副研究员，主要从事民机安全性评估与适航审定技术等方面的研究。E-mail：l-dong@cauc.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.10.1123

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT