导弹与航天运载技术（中英文）

基于强化学习的高超声速飞行器滑模自抗扰控制

PDF下载

唐伟强 ¹ , 马景泰 ¹ , 魏子栋 ¹ , 高海燕 ²

导弹与航天运载技术（中英文） | 导航、制导与控制 2026,(3): 48-57

收起

导弹与航天运载技术（中英文） |导航、制导与控制 2026 , (3) : 48 -57

基于强化学习的高超声速飞行器滑模自抗扰控制

全屏

唐伟强¹, 马景泰¹, 魏子栋¹, 高海燕²

作者信息

^1.兰州理工大学，兰州，730050

^2.厦门理工学院，厦门，361024

作者简介:

唐伟强（1978—），男，博士，教授，主要研究方向为飞行器动力学与控制。

马景泰（1995—），男，硕士研究生，主要研究方向为飞行器动力学与控制。

魏子栋（2000—），男，硕士研究生，主要研究方向为飞行器动力学与控制。

高海燕（1987—），女，博士，讲师，主要研究方向为飞行器制导与控制，预测控制。

Sliding Mode Active Disturbance Rejection Control for Hypersonic Vehicles Based on Reinforcement Learning

Weiqiang TANG¹, Jingtai MA¹, Zidong WEI¹, Haiyan GAO²

Affiliations

^1.Lanzhou University of Technology, Lanzhou, 730050

^2.Xiamen University of Technology, Xiamen, 361024

出版时间: 2026-06-25 doi: 10.7654/j.issn.2097-1974.20260307

文章导航

摘要

收起

针对高超声速飞行器的不确定性问题，提出了一种强化学习与滑模自抗扰控制协同优化的智能控制方法。首先，将高超声速飞行器的数学模型解耦为速度和高度子系统。其次，为速度子系统设计自抗扰控制器以保证其跟踪性能，为高度子系统则设计滑模自抗扰控制器以提高其鲁棒性。最后，通过训练学习扩张状态观测器参数优化的确定性策略，并将其嵌入控制系统，实现模型驱动与数据驱动的协同优化。结果表明，所设计的飞行器控制系统实现了速度和高度的精准跟踪，与一般的滑模自抗扰控制系统相比，表现出更强的抗干扰能力，同时在响应时间和跟踪精度方面更具优势。

关键词

高超声速飞行器 / 强化学习 / 滑模控制 / 自抗扰控制 / 扩张状态观测器

Abstract

收起

To address the uncertainty issues in hypersonic vehicles, an intelligent control method that synergistically integrates reinforcement learning with sliding mode active disturbance rejection control is proposed. First, the mathematical model of the hypersonic vehicle is decoupled into velocity and altitude subsystems. Second, an active disturbance rejection controller is designed for the velocity subsystem to ensure tracking performance, while a sliding mode active disturbance rejection controller is developed for the altitude subsystem to enhance robustness. Finally, a deterministic policy for optimizing the parameters of the extended state observer is learned through training and embedded into the control system online, achieving a collaborative optimization of model-driven and data-driven strategies. The results demonstrate that the proposed control system achieves satisfactory tracking of velocity and altitude. Compared with conventional sliding mode active disturbance rejection control systems, the proposed method exhibits stronger anti-interference capability and superior performance in response time and tracking accuracy. It is of more significance for improving the prediction accuracy of aircraft aerodynamic performance to predict the transition position of the boundary layer accurately.

Key words

hypersonic vehicles / reinforcement learning / sliding mode control / active disturbance rejection control / extended state observer

引用本文

唐伟强, 马景泰, 魏子栋, 高海燕. 基于强化学习的高超声速飞行器滑模自抗扰控制. 导弹与航天运载技术（中英文）, 2026 , (3) : 48 -57 . DOI: 10.7654/j.issn.2097-1974.20260307

Weiqiang TANG, Jingtai MA, Zidong WEI, Haiyan GAO. Sliding Mode Active Disturbance Rejection Control for Hypersonic Vehicles Based on Reinforcement Learning[J]. Missiles and Space Vehicles, 2026 , (3) : 48 -57 . DOI: 10.7654/j.issn.2097-1974.20260307

正文

收起

0 引言

收起

高超声速飞行器作为一种集航速快、航程远、响应迅速等特点于一身的临近空间飞行器，具有巨大的军事和民用价值^［1］。然而，由于复杂的飞行环境和特殊的气动结构，使其控制设计面临诸多挑战。尤其是数学模型易受参数摄动、外部干扰及未建模动态的影响，表现为强不确定性，极大地增加了飞行控制的难度。为应对这些不确定性，采用了自适应控制^［2］、预测控制^［3］、容错控制^［4］及基于干扰观测器的控制^［5］等方法并已取得一定成果。其中，基于干扰观测器类的控制方法因其直接且有效的估计和补偿不确定性的特点而备受关注^［6］。特别是自抗扰控制（Active Disturbance Rejection Control，ADRC），将系统所有不确定性视为总扰动，并通过扩张状态观测器（Extended State Observer，ESO）对其进行实时估计并在控制律中进行补偿。通过估计与补偿不确定性，ADRC的抗干扰能力和控制精度得到显著提升^［7］。

得益于对系统动力学特性依赖的较少，ADRC在高超声速飞行器控制中得到了广泛的研究。文献［8-9］分别通过基于条件扰动的ADRC策略和解耦后子系统的ADRC设计，实现了高超声速飞行器速度、高度跟踪及姿态控制器的设计，跟踪性能体现出良好的稳定性。尽管ADRC在高超声速飞行器控制中展现出良好的性能，但其应对不确定性时的抗干扰能力仍受限于ESO估计能力和反馈控制结构^［10］。为此，文献［11］提出分数阶ESO以增强抗干扰能力；文献［12］则采用径向基函数神经网络替代ESO，进一步提高了系统性能。此外，滑模控制与ADRC的结合也在一定程度上弥补了反馈控制结构上的不足，如文献［13］提出的无模型改进滑模自抗扰控制和文献［14］设计的积分滑模自抗扰控制，均显著提升了控制器的抗干扰能力和响应速度。尽管如此，滑模自抗扰控制仍面临控制器参数设计复杂的问题。

对于控制器的参数设计，通常采取固定参数设计、在线调参以及增益调度的方式^［15］。然而，对于高超声速飞行器控制而言，固定参数设计在复杂飞行环境下会牺牲控制性能；在线调参的方式则因实时性不足而受限；而增益调度的方式需要根据系统状态设计相应的控制器参数，导致设计繁琐。此外，参数设计通常依赖工程师的经验和能力，成本较高。当前，基于智能算法的参数优化方法为参数设计提供了全新的思路。启发式算法已被应用于解决参数优化问题，如文献［16］采用差分进化优化算法对自抗扰控制器参数进行优化，以满足蒸汽压力控制的最优和高效需求；文献［17］则将混沌灰狼算法应用于四旋翼无人机的自抗扰控制器中进行参数优化。然而，启发式算法在处理复杂实际问题时存在局限性，例如易陷入局部最优解、仅能寻优一组固定参数，以及对系统不确定性缺乏自适应能力。

近年来，强化学习（Reinforcement Learning，RL）作为一种新兴的智能优化方法，通过构建系统状态至控制器参数之间的映射，展现出强大的自适应能力和在多变条件下寻求最优控制策略的特性，有效弥补了人工调参与启发式算法的不足^［18］。然而，传统RL方法如Q学习^［19］和深Q网络^［20］，只能处理离散的动作，在处理连续动作空间方面存在明显的不足。当用于整定高超声速飞行器的控制参数时，难以高效覆盖所有可行参数空间，从而影响优化效果。相比之下，深度确定性策略梯度（Deep Deterministic Policy Gradient，DDPG）凭借其处理连续动作空间的优势，成为高超声速飞行器控制器参数优化更好的选择。文献［21］将DDPG与ADRC结合，实现了电机转角控制的自适应参数优化；文献［22］则将DDPG算法应用于高超声速飞行器姿态控制器的参数优化，取得了良好的控制效果。

需要说明的是，本文与文献［21-22］的核心差异体现在控制器架构与优化维度上。在架构上，文献［22］在线性ADRC基础上引入RL辅助控制，属于控制量补偿思路；本文则致力于滑模自抗扰控制本身参数的深度优化，强调滑模控制与扰动估计能力的结构性融合，RL的作用是增强复合控制器的内生适应性。在优化维度上，文献［21-22］以优化反馈增益与带宽为主，侧重于系统动态调整；本文则将DDPG的优化目标对准ESO的核心参数，从扰动估计源头提升系统的抗干扰能力。因此，与上述方案相比，本文更侧重于通过优化底层观测器来从根本上提升控制器的自适应能力。此外，本文方案主要优化的是前端的观测器参数，而非直接改变闭环控制律，这种设计更有利于保持系统的稳定性和可分析性。

基于上述分析，本文设计的控制系统具有如下特点：

a）利用DDPG算法实现了对ESO参数的自适应整定，相比人工经验整定，能更迅速、准确地找到使系统性能最优的参数组合，提高了参数整定的精度和效率。

b）该智能控制策略使ESO更适应系统动态和外部干扰的变化，估计能力得到提升。同时，通过提前停止准则的引入，提升了DDPG的训练效率和稳定性，进一步提高了系统的控制精度。

c）将滑模控制与ADRC相结合，增强了系统在应对不确定性问题时的稳定性。相较于一般的滑模自抗扰控制方法，本文的方法在快速性和鲁棒性方面更具优势。

1 系统描述

收起

基于文献［14］，高超声速飞行器纵向动力学模型为

V ˙ = T c o s α - D m - μ s i n γ r 2

（1）

γ ˙ = L + T s i n α m V - μ - V 2 r c o s γ V r 2

（2）

h ˙ = V s i n γ

（3）

α ˙ = Q - γ ˙

（4）

Q ˙ = M y y / I y y

（5）

式中

V

，

h

，

α

，

γ

，

θ

分别为速度、高度、航迹角、攻角和俯仰角速率；

m

和

g

分别为质量和重力加速度；

I y y

表示转动惯量；

μ

表示重力常数；

L

，

D

和

T

分别表示推力、阻力和升力；

M y y

表示俯仰力矩，具体表达式为

L = 12 ρ V 2 S C L

，

D = 12 ρ V 2 S C D

，

T = 12 ρ V 2 S C T

（6）

M y y = 12 r V 2 S c ¯ C M (a) + C M d e + C M (Q)

（7）

式中

ρ

，

S

，

c ¯

分别为空气密度、参考面积和平均气动弦长。另外，相关空气动力系数由式（8）给出。

C L = 0.620 3 α C D = 0.645 0 α 2 + 0.004 337 8 α + 0.003 772 C T = 0.025 76 β c, β c < 1 0.022 4 + 0.003 36 β c, β c ≥ 1 C M (α) = - 0.035 α 2 + 0.036 617 α + 5.326 1 × 10 - 6 C M δ e = c e δ e - α C M (Q) = c ¯ 2 V Q - 6.796 α 2 + 0.301 5 α - 0.228 9

（8）

式中

c e

表示力矩系数，控制输入为油门开度指令

β c

和升降舵偏转角

δ e

。

2 控制器设计

收起

2.1 速度子系统控制器设计

根据式（1）、（6）、（7）、（8）可将速度子系统表示为独立的一阶子系统：

V ˙ = f V + g V β c y V = V

（9）

其中，

f V = - 1 m r 2 D r 2 - m μ s i n r, β c < 1 1 m r 2 0.001 12 ρ V 2 r 2 S c o s α - D r 2 - m μ s i n r, β c ≥ 1

，

g V = 1 m 0.012 9 ρ V 2 S c o s α ， β c < 1 1 m 0.001 68 ρ V 2 S c o s α, β c ≥ 1

。

速度子系统采用ADRC进行控制系统设计，其参考轨迹由跟踪微分器式（10）得到：

v ˙ 1 V = v 2 V v ˙ 2 V = f h a n v 1 V - V c, v 2 V, r V, h V

（10）

式中

v 1 V

，

v 2 V

分别表示速度参考轨迹

V c

的滤波信号

V d

及其微分信号

V ˙ d

；

f h a n x 1, x 2, r, h

表示最速控制综合函数^［14］。

另外，ADRC中的ESO可表示为

E V = z 1 V - V z ˙ 1 V = z 2 V - η 1 V E V + g V β c z ˙ 2 V = - η 2 V f a l E V, a V, δ V

（11）

式中

z 1 V

，

z 2 V

分别为对速度

V

和“总和干扰”

f V

的估计值；

η 1 V

和

η 2 V

为ESO待优化的参数。另外，

f a l e, a, δ = e a s i g n e, e > δ e δ 1 - a, e ≤ δ

，且

a > 0, δ < 1

。

根据式（9）至式（11），速度子系统非线性状态误差反馈控制律表示为

e V = V d - V = v 1 V - z 1 V V 0 = k V f a l e V, a 2 V, δ 2 V β c = V 0 - z 2 V / g V

（12）

2.2 高度子系统控制器设计

2.2.1 高度环控制器设计

根据式（1）和式（3），高度环可表示为一阶系统：

h ˙ = V s i n γ y h = h

（13）

定义

h d

为期望飞行速度

h c

的滤波信号，即高度参考轨迹，则高度跟踪误差为

e h = h d - h

。选择航迹角指令与文献［14］相同。

由此可将高度跟踪问题转化为航迹角跟踪问题，其中，

k h P

、

k h I

为大于零的待设计参数。跟踪微分器的设计与速度子系统中相同，此处不再赘述。

2.2.2 航迹角环控制器设计

整理式（2）并结合式（8）可将航迹角环表示为一阶系统：

γ ˙ = f γ + g γ θ c y γ = γ

（14）

其中，

f γ = T s i n α - 0.310 15 ρ V 2 S γ m V - μ - V 2 r c o s γ V 2 r 2

，

g γ = 0.310 15 ρ V 2 S m V

。

定义

γ d

为期望飞行速度

γ c

的滤波信号，即航迹角参考轨迹，则航迹角跟踪误差为

e γ = γ d - γ

，对其求导得：

e ˙ γ = γ ˙ d - γ ˙ = γ ˙ d - f γ - g γ θ c

（15）

选择滑模面为

s γ = e γ

，对其求导得：

s ˙ γ = e ˙ γ = γ ˙ d - f γ - g γ θ c

（16）

此处采用滑动模态趋近时间短，且运动点到达滑模面时速度较小的指数趋近律：

s ˙ γ = - ε γ s i g n s γ - q γ s γ

（17）

联立式（16）与式（17），可得航迹角环控制律为

θ c = 1 g γ γ ˙ d - f γ + ε γ s i g n s γ + q γ s γ

（18）

式中

θ c

为航迹角子系统的虚拟控制律；

ε γ

，

q γ

均大于零。

f γ

表示“总和干扰”，由ESO估计得到：

E γ = z 1 γ - γ z ˙ 1 γ = z 2 γ - η 1 γ E γ + g γ θ c z ˙ 2 γ = - η 2 γ f a l E γ, a 1 γ, δ 1 γ

（19）

式中

z 1 γ

，

z 2 γ

分别表示对航迹角

γ

和

f γ

的估计值；

η 1 γ

和

η 2 γ

为ESO待优化的参数。

另外，航迹角环的跟踪微分器设计与速度子系统中相同，此处不再赘述。

2.2.3 俯仰角环控制器设计

根据式（2）至式（8），俯仰角环可表示为二阶系统：

θ ˙ = α ˙ + γ ˙ = Q Q ˙ = f Q + g Q δ e y Q = θ

（20）

其中，

f Q = ρ V 2 S c ¯ 2 I y y 1 2 V - 6.796 c ¯ Q - 0.035 α 2 + 1 2 V 0.301 5 c ¯ Q - 0.963 383 - c e α - 1 2 V 0.228 9 c ¯ Q + 5.326 1 × 10 - 6

，

g Q = 1 2 I y y ρ V 2 S c ¯ c e

。

定义

θ d

为期望飞行速度

θ c

的滤波信号，俯仰角跟踪误差为

e θ = θ d - θ

，于是：

e ˙ θ = θ ˙ d - θ ˙

，

e ¨ θ = θ ¨ d - f Q - g Q δ e

。

选择滑模面为

s θ = e ˙ θ + c θ e θ

（

c θ

为滑模面系数），对其求导得：

s ˙ θ = e ¨ θ + c θ e ˙ θ = θ ¨ d - f Q - g Q δ e + c θ e ˙ θ

（21）

同样选取指数趋近律为

s ˙ θ = - ε θ s i g n s θ - q θ s θ

（22）

联立式（21）和式（22），整理可得控制律为

δ e = 1 g Q θ ¨ d - f Q + c θ e ˙ θ + ε θ s i g n (s θ) + q θ s θ

（23）

式中

ε V

，

q V

均大于零；

f Q

表示“总和干扰”，由ESO估计得到：

E θ = z 1 θ - θ z ˙ 1 θ = z 2 θ - η 1 θ E θ z ˙ 2 θ = z 3 θ - η 2 θ f a l E θ, a 2 θ, δ 2 θ + g θ δ e z ˙ 3 θ = - η 3 θ f a l E θ, a 3 θ, δ 3 θ

（24）

式中

z 1 θ

，

z 2 θ

，

z 3 θ

分别表示

θ

的估计信号、一阶微分信号和

f Q

的估计信号；

η 1 θ

，

η 2 θ

和

η 3 θ

为ESO待优化的参数。参考轨迹由跟踪微分器式（25）得到：

v ˙ 1 θ = v 2 θ v ˙ 2 θ = f h a n v 1 θ - θ c, v 2 θ, r θ, h θ

（25）

式中

v 1 θ

，

v 2 θ

分别表示

θ c

的滤波信号

θ d

和一阶微分信号

θ ˙ d

。

2.3 基于DDPG的ESO参数协同优化机制

DDPG是一种Actor-Critic网络架构下的RL算法，其基本原理是：时间

t

内，智能体更新累积折扣奖励

G t

^［22］，并根据状态

s t

和奖励

r t

执行动作

a t

，通过智能体与环境的交互，更新下一个状态

s t + 1

，以获得当前奖励

r t + 1

。Actor网络参数的更新根据目标函数

J μ

的梯度：

∇ θ μ J μ = 1 N ∑ t = 1 N ∇ α Q s, a θ Q s = s t, a = μ s t ∇ θ μ μ s θ μ s = s t

（26）

式中

μ s θ μ

，

θ μ

为Actor网络表征及网络参数。而Critic网络的更新目标是其损失函数最小，网络损失函数

Γ (θ Q)

定义为

Γ θ Q = 1 N ∑ t = 1 N y t - Q s t, a t θ Q 2

（27）

式中

y t = r s t, a t + ψ Q' s t + 1, μ' s t + 1 θ μ' θ Q'

，表示目标

Q

值，用于更新Critic网络。

Q s, a θ Q

，

θ Q

为Critic网络表征及网络参数。

根据对高超声速飞行器速度子系统、航迹角环和俯仰角环的分析，可求出相应传递函数的特征方程：

S 2 + η 1 V S + η 2 V = 0

（28）

S 2 + η 1 γ S + η 2 γ = 0

（29）

S 3 + η 1 θ S 2 + η 2 θ S + η 3 θ = 0

（30）

由式（28）和式（29）可求得特征方程对应的极点

p 1 V, 2 V = - η 1 V 2 ± η 1 V 2 2 - η 2 V

，

p 1 γ, 2 γ = - η 1 γ 2 ± η 1 γ 2 2 - η 2 γ

。通过调节

η 1 V

，

η 2 V

，

η 1 γ

，

η 2 γ

可改变ESO扰动估计带宽和阻尼特性，其作为DDPG的动作集选择是可行的。

另外，为保证ESO的稳定性，根据式（30）选择特征方程的三个实极点

p 1 θ = p 2 θ = p 3 θ = - ω θ

，则特征方程为

s + ω θ 3 = s 3 + 3 ω θ s 2 + 3 ω θ 2 s + ω θ 3 = 0

（31）

由此可得参数关系：

η 1 θ = 3 ω θ

，

η 2 θ = 3 ω θ 2

，

η 3 θ = ω θ 3

。其中，

ω θ

为ESO带宽，表征扰动估计的动态响应速度。DDPG通过优化参数

η 1 θ

，

η 2 θ

，

η 3 θ

自适应调整极点位置，从而提升扰动估计性能。

文献［23］提出基于状态和动作来塑形函数，利用更具体的信息引导智能体，无需智能体仅从状态奖励中自行发现这些信息。因此，奖励函数中权重选择可以是基于控制目标的敏感性排序。本文中航迹角

γ

的权重最大，能够直接且敏感地反映控制跟踪性能；燃油阀开度

β c

权重适中，用于平衡飞行姿态的稳定性；而升降舵偏转角

δ e

权重较小，旨在避免过于激进的控制动作，保证系统的平稳性。

综上所述，选取各个子系统ESO的参数作为DDPG的动作集，即

a n = η 1 V, η 2 V, η 1 γ, η 2 γ, η 1 θ, η 2 θ, η 3 θ

，状态集

S n = γ, β c, β ˙ c, δ e, δ ˙ e

。回报函数设置为R=-

0.01 δ e - 5 γ - 2 β c - 5 d 0

，

d 0

为截至因子。一般

d 0 = 0

，当航迹角误差

γ > 1

时，返回值

d 0 = 1

。此外，为提高训练效率，本文在DDPG算法中引入了提前停止准则：当航迹角到达预设上限时，提前终止训练。

基于以上控制器的设计，控制系统如图1所示，图中

V c

为期望速度，

h c

为期望高度，

γ c

和

θ c

为虚拟控制量。

2.4 稳定性分析

本文提出的基于强化学习的控制方案，其核心架构是离线优化与在线控制相结合。DDPG算法在训练阶段学习得到一组优化的ESO参数。在线应用时，这些参数被固定并载入滑模自抗扰控制器中。因此，控制系统的实时稳定性根本上取决于基础控制器本身的稳定性。高度环、航迹角环和俯仰角环滑模面的证明与文献［14］相同，此处不再赘述。本节仅针对速度子系统进行稳定性分析。

a）ESO估计误差稳定性分析。

假设总扰动导数有界，即存在常数

M > 0

，使得

f ˙ V ≤ M

。

定义ESO估计误差：

e 1 V = z 1 V - V

，

e 2 V = z 2 V - f V

，其动态为

e ˙ 1 V = z ˙ 1 V - V ˙ = e 2 V - η 1 V e 1 V e ˙ 2 V = z ˙ 2 V - f ˙ V = - η 2 V f a l (e 1 V, a V, δ V) - f ˙ V

（32）

选取李雅普诺夫函数候选：

V E S O = 12 e 1 V 2 + 1 2 κ e 2 V 2 ， κ > 0

（33）

根据

f a l e, a, δ

的性质，存在正常数

k 1, k 2 > 0

，使得：

e 1 V f a l (e 1 V, a V, δ V) ≥ k 1 e 1 V 2 | f a l (e 1 V, a V, δ V) | ≤ k 2 | e 1 V |

（34）

对时间求导并应用杨氏不等式得：

V ˙ E S O = - η 1 V e 1 V 2 + e 1 V e 2 V - η 2 V κ e 2 V f a l (e 1 V, a V, δ V) - 1 κ e 2 V f ˙ V

≤ - υ 1 e 1 V 2 - υ 2 e 2 V 2 + ϵ 2 M 2 2 κ

（35）

式中

υ 1 = η 1 V - 1 2 ϵ 1 - η 2 v k 2 2 κ ε 3

，

υ 2 = - ϵ 1 2 - η 2 V k 2 ϵ 3 2 κ - 1 2 κ ϵ 2

。

适当选择参数

η 1 V

，

η 2 V

，

ε 1

，

ε 2

，

ε 3

确保

υ 1, υ 2 > 0

。令

υ = m i n υ 1, υ 2 κ > 0

，则由比较引理，估计误差满足：

l i m s u p t → ∞ ‖ e V (t) ‖ ≤ ϵ 2 M 2 υ κ

（36）

b）闭环系统跟踪误差稳定性。

在参考信号导数有界（

| V ˙ d | ≤ M d

）和ESO估计误差有界（

| e 2 V | ≤ M e

）的条件下，速度跟踪误差是一致最终有界的。跟踪误差动态为

e ˙ V = V ˙ d - k V f a l (e V, a V, δ V) + e V 2

（37）

选取李雅普诺夫函数为

V t r a c k = 12 e V 2

（38）

V ˙ t r a c k = e V e ˙ V = e V [V ˙ d - k V f a l (e V, a V, δ V) + e V 2]

（39）

当

0 < a V ≤ 1

时，存在正常数

k 3

，使得：

e V f a l (e V, a V, δ V) ≥ k 3 e V 2

（40）

则由杨氏不等式：

V ˙ t r a c k ≤ - k V k 3 - 1 2 ε 3 - 1 2 ε 4 e V 2 + ε 3 2 V ˙ d 2 + ε 4 2 e V 2 2

（41）

选择足够大的

k V

，使得：

k V k 3 - 1 2 ϵ 3 - 1 2 ϵ 4 > 0

（42）

V ˙ t r a c k ≤ - υ 3 e V 2 + υ 4

（43）

式中

υ 3 = k V k 3 - 1 2 ϵ 3 - 1 2 ϵ 4 > 0

，

υ 4 = ϵ 3 2 M d 2 + ϵ 4 2 M e 2

。

由比较引理，跟踪误差是一致最终有界的，稳态误差满足：

l i m s u p t → ∞ | e V (t) | ≤ υ 4 υ 3

（44）

3 结果与分析

收起

3.1 控制器参数

在设置DDPG的离线训练时，最大训练回合为100，每回合最大步长为100，采样时间为0.1 s，批学习数为64，网络噪声统一设为0.4。另外，为了验证不同初始参数下RL的收敛稳定性，选取不同的学习率与经验池大小。在原始参数（学习率为0.005，经验池大小为1 000 000）基础上，设置了以下对比组：低学习率组（学习率为0.001，经验池大小为1 000 000）、高学习率组（学习率为0.01，经验池大小为1 000 000）、小经验池组（学习率为0.005，经验池大小为500 000），训练结果如图2所示。

图2展示了不同参数组合下的累积奖励曲线。由图2可以看出，尽管超参数有所变化，但各曲线均在70~100回合内趋于收敛，且最终性能差异小于10%。特别是学习率在0.001~0.01范围内变化时，收敛特性保持稳定，表明本文的训练策略对超参数选择不敏感，具有较强的鲁棒性。

图3展示了DDPG对ESO参数的优化结果。ESO参数在迭代70次之后仍处于动态变化中，但数据波动幅度较小。另外，训练过程中DDPG同时在参数摄动、外部干扰和执行器故障等多种工况下进行，其学习到的策略会尝试在一组ESO参数下平衡不同工况的需求，参数移植性强，能够泛化到所有情况。参数摄动、外部干扰和执行器故障的设计详见本文3.2节。

3.2 仿真结果

为全面验证本文所提DDPG-SMADRC方法的性能优势与鲁棒性，本节将在多种典型及极端工况下，与传统的SMADRC方法进行系统性对比分析，同时，增加在标称、外部干扰与参数摄动情况下与文献［24］中基于SESO的ADRC方法的对比仿真。

3.2.1 标称情况

图4为标称情况系统响应。从图4a~b可看出三种控制方法均能使输出追踪期望信号，但本文方法由于引入了DDPG对ESO参数的自适应整定，在高度和速度跟踪方面整体上更具优势。控制输入方面如图4c~d所示，在SADRC作用下升降舵偏转角出现较大振荡。其他状态最终均收敛至零，但DDPG-SMADRC作用下攻角表现更平滑，如图4e所示。总体来看，在标称情况下本文方法的飞行器控制性能更优。

3.2.2 参数摄动和外部干扰情况

外部干扰的特性，即对控制的影响通常表现为周期性平滑变化且具有对称性，本文将其建模为幅值有限的有界扰动。因此，本文将外部干扰设定为正弦函数的形式，即

d V = 2 s i n π t

，

d h = 0.001 s i n 0.2 π t

，

d γ = 0.000 5 s i n 0.2 π t

，

d α = 2 s i n 3 π t

，

d Q = 0.5 s i n 0.2 π t

。参数摄动统一设置为25%^［25］，参数包括

m

、

S

、

ρ

、

c ¯

、

c e

、

I y y

、

C L

、

C D

、

C T

、

C M α

、

C M δ e

、

C M Q

。

图5为参数摄动与外部干扰情况下系统响应。如图5a~b显示，在高度和速度跟踪方面，SMADRC与SADRC系统作用下出现了时变误差。这一现象在控制输入方面得到了进一步印证，DDPG-SMADRC系统的高频振荡更小，如图5c~d所示。传统SMADRC方法振荡较大是滑模控制的固有现象，其本质来源于高频切换控制律的离散化执行；而DDPG通过动态优化ESO参数以调整ESO带宽，能够有效抑制抖振的频率。此外，图5e展示了其他状态的收敛情况。从以上分析可以看出，DDPG-SMADRC作用下系统的稳态误差更小，抗干扰能力更强。这是因为训练好的智能体能够通过自适应调整ESO参数，实时响应系统状态变化，从而更好地适应外部干扰和参数摄动。

3.2.3 执行器故障情况

为验证控制器在关键执行机构性能退化时的容错能力，采用时变振荡故障模型更真实地模拟执行器在发生故障后性能持续波动的复杂工况：

β c (t) = β c (t), t < t 0 f 1 β c (t), t ≥ t 0

和

δ e (t) = δ e (t), t < t 0 f 1 δ e (t), t ≥ t 0

。其中，

f 1 = f 2 = 0.8 + 0.015 s i n (0.5 π t)

，发生故障时间设置为

t 0 = 40

s。

图6为执行器故障情况系统响应。如图6a~b所示，在DDPG-SMADRC作用下，系统跟踪情况几乎不受影响，而在SMADRC作用下系统则出现了稳态误差。在SMADRC作用下，控制输入出现明显抖振，而在本文方法作用下几乎不受影响，如图6c~d。究其原因，SMADRC作用下ESO的带宽是固定的，无法适应执行器响应延迟，从而加剧了抖振现象。此外，系统其他状态也受到不同程度的影响，见图6e。总体来看，本文方法通过对飞行器状态的学习和自适应调整ESO参数，在面对执行器故障时表现出更强的适应性。

3.2.4 复合故障情况

为进一步检验方法的性能，测试了同时发生3种干扰下的控制系统性能。

图7为复合故障情况系统响应。如图7a~b所示，在DDPG-SMADRC作用下系统保持了良好的跟踪性能，而在SMADRC作用下系统则出现了稳态误差。在控制输入方面，DDPG-SMADRC系统的高频振荡更小，如图7c~d所示。原因在于SMADRC作用下ESO的带宽是固定的，无法适应执行器响应延迟，从而加剧了抖振现象。而DDPG通过动态优化ESO参数以调整ESO带宽，能够有效抑制抖振。此外，图7e展示了其他状态的收敛情况。综上所述，极端工况下传统SMADRC出现性能恶化，而本文方法凭借其自适应的ESO参数，仍能维持系统稳定并完成基本跟踪任务，展现了更强的适应能力。

4 结论

收起

针对高超声速飞行器面临的不确定性问题，本文提出了一种将RL与SMADRC结合的控制策略，将RL的环境感知和优化能力与传统ADRC固有的扰动估计与补偿能力相结合，通过DDPG对ESO参数的优化，提升了系统的抗干扰能力。仿真结果表明，所提出的RL-SMADRC控制器相较于SMADRC和SADRC，展现出了性能优势。不仅提高了速度与高度的跟踪精度，更显著地表现为动态响应过程的加速、面对参数摄动与外部干扰时鲁棒性的实质性增强，以及控制输入信号的平滑性改善。但本文的设计仍存在一些局限性，首先，奖励函数的设计尚依赖工程经验，其系统化构建方法有待探索；其次，DDPG学习过程与控制系统耦合的闭环稳定性理论证明仍是一个挑战；最后，当前方法针对的是纵向模型，将其扩展到完整的六自由度模型并考虑多目标优化将是未来的重点工作。

基金

收起

国家自然科学基金(62463017)
国家自然科学基金(62063018)
甘肃省科技计划项目(24CXGA039)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

DING

, YUE

, CHEN

, et al. Review of control and guidance technology on hypersonic vehicle[J]. Chinese Journal of Aeronautics, 2022, 35(7): 1-18.

[2]

, GUO

, ZHANG

, et al. Adaptive control of hypersonic vehicles using intelligent allocation[J]. Proceedings of the Institution of Mechanical Engineers, Part G: Journal of Aerospace Engineering, 2023, 237(10): 2383-2401.

[3]

CHENG

, SONG

, WANG

, et al. A model predictive solution to cooperative guidance of hypersonic reentry vehicle with impact angle and distance coordination[J]. Aerospace Science and Technology, 2024(145): 108855.

[4]

WANG

, ZOU

, ZONG

, et al. Adaptive prescribed performance fault tolerant control for a flexible air-breathing hypersonic vehicle with uncertainty[J]. IEEE Access, 2019(7): 35018-35033.

[5]

, MENG

, WANG

. Improved nonlinear dynamic inversion control for a flexible air-breathing hypersonic vehicle[J]. Aerospace Science and Technology, 2018(78): 734-743.

[6]

ZHANG

, WANG

, YANG

, et al. Anti-disturbance backstepping control for air-breathing hypersonic vehicles based on extended state observer[J]. ISA Transactions, 2019(92): 84-93.

[7]

HUANG

, CHEN

, ZHENG

, et al. Optimal design of load frequency active disturbance rejection control via double-chains quantum genetic algorithm[J]. Neural Computing and Applications, 2021(33): 3325-3345.

[8]

SUN

, PU

, YI

. Conditional disturbance negation based active disturbance rejection control for hypersonic vehicles[J]. Control Engineering Practice, 2019(84): 159-171.

[9]

朴敏楠, 孙明玮, 黄建, 等. 基于自抗扰的高超声速飞行器姿态鲁棒控制[J]. 控制工程, 2019, 26(9): 1627-1635.

PIAO

Minnan

, SUN

Mingwei

, HUANG

Jian

, et al. Robust attitude control of hypersonic vehicles based on active disturbance rejection[J]. Control Engineering of China, 2019, 26(9): 1627-1635.

[10]

吴艳, 王丽芳, 李芳. 基于滑模自抗扰的智能车路径跟踪控制[J]. 控制与决策, 2019, 34(10): 2150-2156.

Yan

, WANG

Lifang

, LI

Fang

. Path tracking control of intelligent vehicles based on sliding mode active disturbance rejection[J]. Control and Decision, 2019, 34(10): 2150-2156.

[11]

ZHAO

, HU

, SONG

. Improved fractional-order extended state observer-based hypersonic vehicle active disturbance rejection control[J]. Mathematics, 2022, 10(23): 4414.

[12]

LIU

, LIU

, ZHOU

, et al. Cascade ADRC with neural network-based ESO for hypersonic vehicle[J]. Journal of the Franklin Institute, 2023, 360(12): 9115-9138.

[13]

李争, 张梓豪, 王康涛, 等. 基于无模型的PMLSM改进自适应滑模自抗扰控制[J]. 电机与控制学报, 2024, 28(1): 142-151.

Zheng

, ZHANG

Zihao

, WANG

Kangtao

, et al. Improved adaptive sliding mode active disturbance rejection control based on model-free PMLSM[J]. Journal of Electric Machines and Control, 2024, 28(1): 142-151.

[14]

唐伟强, 甲成超, 石文科, 等. 高超声速飞行器积分滑模自抗扰控制研究[J]. 现代防御技术, 2024, 52(5): 40-50.

TANG

Weiqiang

, JIA

Chengchao

, SHI

Wenke

, et al. Research on integral sliding mode active disturbance rejection control for hypersonic vehicles[J]. Modern Defense Technology, 2024, 52(5): 40-50.

[15]

PIAO

, YANG

, SUN

, et al. Synthesis of attitude control for statically unstable hypersonic vehicle with low-frequency aero-servo-elastic effect[J]. Aerospace Science and Technology, 2018(80): 67-77.

[16]

GUO

, SHI

, ZHANG

, et al. Research on active disturbance rejection control of small modular reactor once-through steam generator based on differential evolution optimization algorithm[J]. Nuclear Technology, 2025, 211(5): 974-993.

[17]

CAI

, LOU

, ZHAO

, et al. Quadrotor trajectory tracking and obstacle avoidance by chaotic grey wolf optimization-based active disturbance rejection control[J]. Mechanical Systems and Signal Processing, 2019(128): 636-654.

[18]

LUONG

N C

, HOANG

D T

, GONG

, et al. Applications of deep reinforcement learning in communications and networking: a survey[J]. IEEE Communications Surveys & Tutorials, 2019, 21(4): 3133-3174.

[19]

高强, 李旭, 吉月辉, 等. 基于Q学习的高超声速飞行器自抗扰控制研究[J]. 控制工程, 2024, 31(4): 577-582.

GAO

Qiang

, LI

, JI

Yuehui

, et al. Research on active disturbance rejection control for hypersonic vehicles based on Q-learning[J]. Control Engineering of China, 2024, 31(4): 577-582.

[20]

ZHENG

, SUN

, CHEN

, et al. Deep Q-Network based real-time active disturbance rejection controller parameter tuning for multi-area interconnected power systems[J]. Neurocomputing, 2021(460): 360-373.

[21]

CHEN

, CHEN

, WANG

, et al. Deep deterministic policy gradient and active disturbance rejection controller based coordinated control for gearshift manipulator of driving robot[J]. Engineering Applications of Artificial Intelligence, 2023(117): 105586.

[22]

, JI

, SONG

, et al. Modified deep deterministic policy gradient based on active disturbance rejection control for hypersonic vehicles[J]. Neural Computing and Applications, 2024, 36(8): 4071-4081.

[23]

WIEWIORA

, COTTRELL

G W

, ELKAN

. Principled methods for advising reinforcement learning agents[C]. Washington:Proceedings of the Twentieth International Conference on International Conference on Machine Learning, 2003.

[24]

TANG

, JIA

, SHI

, et al. Switching active disturbance rejection tracking control of hypersonic vehicles[C]. Tianjin: 2024 IEEE 25th China Conference on System Simulation Technology and its Application (CCSSTA), 2024.

[25]

, IOANNOU

P A

, MIRMIRANI

. Adaptive sliding mode control design for a hypersonic flight vehicle[J]. Journal of Guidance Control and Dynamics, 2004, 27(5): 829-838.

2026年第卷第3期

PDF下载

引用本文

BibTeX

文章信息

doi: 10.7654/j.issn.2097-1974.20260307

接收时间：2025-05-07
首发时间：2026-07-22
出版时间：2026-06-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-05-07
修回日期：2026-05-26

基金

国家自然科学基金(62463017)

国家自然科学基金(62063018)

甘肃省科技计划项目(24CXGA039)

作者信息

^1.兰州理工大学，兰州，730050

^2.厦门理工学院，厦门，361024

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/ddyht/CN/10.7654/j.issn.2097-1974.20260307

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT