中国安全科学学报

伪代码1:APF改进SAC算法
初始化参数 $θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2$ 初始化经验池 for轮次=1到M 接收初始状态 $s 1$ for t = 1到T 依据策略 $π (θ)$ 和状态 $s t$ 生成动作 $a t$ APF优化 $a t$ → $a' t$ 执行动作 $a' t$ ，观察奖励 $r t$ 和新状态 $s t + 1$ 将 $(s t ， a t ， r t ， s t + 1)$ 添加到经验池D for j = 1 to更新次数do 经验池D随机采样一批数据计算评论家目标网络的Q值更新评论家网络参数 $ψ 1$ 和 $ψ 2$ 更新演员网络参数 $θ$ 软更新评论家目标网络参数 $ψ - 1$ 和 $ψ - 2$ end for 令 $s t ← s t + 1$ end for end for

伪代码1:APF改进SAC算法

初始化参数

θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2

初始化经验池
for轮次=1到M
接收初始状态

s 1

for t = 1到T
依据策略

π (θ)

和状态

s t

生成动作

a t

APF优化

a t

→

a' t

执行动作

a' t

，观察奖励

r t

和新状态

s t + 1

将

(s t ， a t ， r t ， s t + 1)

添加到经验池D
for j = 1 to更新次数do
经验池D随机采样一批数据
计算评论家目标网络的Q值
更新评论家网络参数

ψ 1

和

ψ 2

更新演员网络参数

θ

软更新评论家目标网络参数

ψ - 1

和

ψ - 2

end for
令

s t ← s t + 1

end for
end for

伪代码1:APF改进SAC算法
初始化参数 $θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2$ 初始化经验池 for轮次=1到M 接收初始状态 $s 1$ for t = 1到T 依据策略 $π (θ)$ 和状态 $s t$ 生成动作 $a t$ APF优化 $a t$ → $a' t$ 执行动作 $a' t$ ，观察奖励 $r t$ 和新状态 $s t + 1$ 将 $(s t ， a t ， r t ， s t + 1)$ 添加到经验池D for j = 1 to更新次数do 经验池D随机采样一批数据计算评论家目标网络的Q值更新评论家网络参数 $ψ 1$ 和 $ψ 2$ 更新演员网络参数 $θ$ 软更新评论家目标网络参数 $ψ - 1$ 和 $ψ - 2$ end for 令 $s t ← s t + 1$ end for end for

伪代码1:APF改进SAC算法

初始化参数

θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2

初始化经验池
for轮次=1到M
接收初始状态

s 1

for t = 1到T
依据策略

π (θ)

和状态

s t

生成动作

a t

APF优化

a t

→

a' t

执行动作

a' t

，观察奖励

r t

和新状态

s t + 1

将

(s t ， a t ， r t ， s t + 1)

添加到经验池D
for j = 1 to更新次数do
经验池D随机采样一批数据
计算评论家目标网络的Q值
更新评论家网络参数

ψ 1

和

ψ 2

更新演员网络参数

θ

软更新评论家目标网络参数

ψ - 1

和

ψ - 2

end for
令

s t ← s t + 1

end for
end for

SOTIF场景	DRP类型	运行状态
已知安全	$ϕ ∈ ϕ s$	安全
已知不安全	$ϕ ∈ ϕ u *$	非常危险
未知安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$	危险
未知不安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$

SOTIF场景

DRP类型

运行状态

已知安全

ϕ ∈ ϕ s

安全

已知不安全

ϕ ∈ ϕ u *

非常危险

未知安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

危险

未知不安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

SOTIF场景	DRP类型	运行状态
已知安全	$ϕ ∈ ϕ s$	安全
已知不安全	$ϕ ∈ ϕ u *$	非常危险
未知安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$	危险
未知不安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$

SOTIF场景

DRP类型

运行状态

已知安全

ϕ ∈ ϕ s

安全

已知不安全

ϕ ∈ ϕ u *

非常危险

未知安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

危险

未知不安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

参数	数值
熵正则化系数 $α$	0.2
训练批次大小	128
经验池大小	10⁶
探索函数	随机动作

参数

数值

熵正则化系数

α

0.2

训练批次大小

128

经验池大小

10⁶

探索函数

随机动作

参数	数值
熵正则化系数 $α$	0.2
训练批次大小	128
经验池大小	10⁶
探索函数	随机动作

参数

数值

熵正则化系数

α

0.2

训练批次大小

128

经验池大小

10⁶

探索函数

随机动作

编号	起点	终点	状态
1	(330，0，225)	(0，225，225)	已知安全
2	(330，0，105)	(0，225，180)	未知安全/ 未知不安全
3	(330，75，225)	(0，75，75)	已知安全
4	(330，75，105)	(0，75，180)	已知安全
5	(330，105，75)	(0，0，225)	已知安全
6	(330，225，225)	(0，0，75)	已知安全
7	(330，225，75)	(0，0，225)	已知安全
8	(330，225，180)	(0，0，180)	已知安全

编号

起点

终点

状态

(330，0，225)

(0，225，225)

已知安全

(330，0，105)

(0，225，180)

未知安全/
未知不安全

(330，75，225)

(0，75，75)

已知安全

(330，75，105)

(0，75，180)

已知安全

(330，105，75)

(0，0，225)

已知安全

(330，225，225)

(0，0，75)

已知安全

(330，225，75)

(0，0，225)

已知安全

(330，225，180)

(0，0，180)

已知安全

编号	起点	终点	状态
1	(330，0，225)	(0，225，225)	已知安全
2	(330，0，105)	(0，225，180)	未知安全/ 未知不安全
3	(330，75，225)	(0，75，75)	已知安全
4	(330，75，105)	(0，75，180)	已知安全
5	(330，105，75)	(0，0，225)	已知安全
6	(330，225，225)	(0，0，75)	已知安全
7	(330，225，75)	(0，0，225)	已知安全
8	(330，225，180)	(0，0，180)	已知安全

编号

起点

终点

状态

(330，0，225)

(0，225，225)

已知安全

(330，0，105)

(0，225，180)

未知安全/
未知不安全

(330，75，225)

(0，75，75)

已知安全

(330，75，105)

(0，75，180)

已知安全

(330，105，75)

(0，0，225)

已知安全

(330，225，225)

(0，0，75)

已知安全

(330，225，75)

(0，0，225)

已知安全

(330，225，180)

(0，0，180)

已知安全

方法	航路长度/m	安全时长占比/%
仅使用强化学习	324.98	98.15
RTA避障	328.08	78.4

方法

航路长度/m

安全时长占比/%

仅使用强化学习

324.98

98.15

RTA避障

328.08

78.4

方法	航路长度/m	安全时长占比/%
仅使用强化学习	324.98	98.15
RTA避障	328.08	78.4

方法

航路长度/m

安全时长占比/%

仅使用强化学习

324.98

98.15

RTA避障

328.08

78.4

面向预期功能安全的eVTOL智能避障系统运行时保证方法

PDF下载

董磊 ¹^,² , 宋文佳 ¹^,³ , 陈曦 ¹^,²^,^** , 刘嘉琛 ¹^,⁴ , 梁博尧 ¹^,⁴

中国安全科学学报 | 安全工程技术 2024,34(7): 105-112

收起

中国安全科学学报 | 安全工程技术 2024, 34(7): 105-112

面向预期功能安全的eVTOL智能避障系统运行时保证方法

全屏

董磊¹^,², 宋文佳¹^,³, 陈曦¹^,²^,^**, 刘嘉琛¹^,⁴, 梁博尧¹^,⁴

作者信息

¹ 中国民航大学民航航空器适航审定技术重点实验室，天津 300300

² 中国民航大学科技创新研究院，天津 300300

³ 中国民航大学中欧航空工程师学院，天津 300300

⁴ 中国民航大学安全科学与工程学院，天津 300300

董磊 (1983—)，男，天津人，博士，副研究员，主要从事民机安全性评估与适航审定技术、未来民机智能飞行与智能系统技术等方面的研究。E-mail：dlcauc@126.com。

通讯作者:

^** 陈曦(1987—)，男，河北邯郸人，博士，助理研究员，主要从事模式识别与图像处理方面的研究。E-mail：csxichen@outlook.com。

Runtime assurance method for eVTOL intelligent obstacle avoidance system toward safety of intended functionality

Lei DONG¹^,², Wenjia SONG¹^,³, Xi CHEN¹^,²^,^**, Jiachen LIU¹^,⁴, Boyao LIANG¹^,⁴

Affiliations

¹ Key Laboratory of Civil Aircraft Airworthiness Technology，Civil Aviation University of China，Tianjin 300300，China

² Science and Technology Innovation Research Institute，Civil Aviation University of China，Tianjin 300300，China

³ Sino-European Institute of Aviation Engineering，Civil Aviation University of China，Tianjin 300300，China

⁴ College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China

出版时间: 2024-07-28 doi: 10.16265/j.cnki.issn1003-3033.2024.07.0198

文章导航

摘要

收起

为保障电动垂直起降飞行器(eVTOL)在城市空中交通(UAM)场景下的预期功能安全(SOTIF)，降低人工智能算法的验证难度，建立基于运行时保证(RTA)方法的避障模型。首先，使用人工势场法改进的柔性动作评价(SAC)算法作为eVTOL智能避障系统的复杂功能；然后，使用动态反应规划(DRP)作为智能航电系统的备用功能，以减缓SOTIF危险，同时，使用监视和决策模块采集环境状态，搭建RTA架构；最后，分别仿真仅使用复杂功能和具有RTA架构的避障系统，对比避障效果。结果表明：2种方法均可实现避障，但仅使用复杂功能的传统避障系统会带来SOTIF危险；经过RTA架构设计，可使eVTOL的安全飞行时长占比由78.4%提高到98.15%，总航路长度仅增加0.95%，在保障效率的同时，降低了在运行场景中的风险。

关键词

预期功能安全(SOTIF) / 电动垂直起降飞行器(eVTOL) / 运行时保证(RTA) / 城市空中交通(UAM) / 智能避障系统

Abstract

收起

To ensure the SOTIF of eVTOL vehicles in UAM and reduce the verification difficulty of artificial intelligence algorithms，an obstacle avoidance model was proposed based on RTA method. Firstly，SAC (soft actor-critic) algorithm improved by the artificial potential field method was used as the complex function of the eVTOL intelligent obstacle avoidance system. Then，dynamic response planning (DRP) was used as a backup function of the intelligent avionics system to mitigate SOTIF hazards. Moreover，monitoring and decision-making modules were adopted to obtain environmental conditions and develop an RTA architecture. Finally，the simulated obstacle avoidance performance was compared between the two systems using complex function and RTA. The results showed that both methods can achieve obstacle avoidance，but the traditional obstacle avoidance system using complex functions may impose SOTIF risk. The RAT architecture design increased safe flight time from 78.4% to 98.15%，with the total route length only increasing by 0.95%，reducing risks in operational scenarios while ensuring efficiency.

Key words

safety of the intended functionality (SOTIF) / electric vertical take-off and landing (eVTOL) / runtime assurance (RTA) / urban air mobility (UAM) / intelligent obstacle avoidance system

引用本文

董磊, 宋文佳, 陈曦, 刘嘉琛, 梁博尧. 面向预期功能安全的eVTOL智能避障系统运行时保证方法. 中国安全科学学报, 2024 , 34 (7) : 105 -112 . DOI: 10.16265/j.cnki.issn1003-3033.2024.07.0198

Lei DONG, Wenjia SONG, Xi CHEN, Jiachen LIU, Boyao LIANG. Runtime assurance method for eVTOL intelligent obstacle avoidance system toward safety of intended functionality[J]. China Safety Science Journal, 2024 , 34 (7) : 105 -112 . DOI: 10.16265/j.cnki.issn1003-3033.2024.07.0198

正文

收起

0 引言

收起

近10年来，随着分布式电力推进技术、计算机技术以及通信技术的迅猛发展，国内外航空管理局、民航研究组织以及工业方竞相进入针对电动垂直起降(electric Vertical Take Off and Landing，eVTOL)航空器的研究与开发中^[1]。城市空中交通(Urban Air Mobility，UAM)是利用低空空间进行各种交通活动的总称^[2]。在复杂的UAM场景中，保障航空器安全出行、有效避免与地面障碍物的碰撞冲突，是亟待解决的技术难题。《绿色航空制造业发展纲要》^[3]指出，围绕智能化、体系化、网络化技术趋势，结合eVTOL航空器性能优势和5G、大数据、人工智能等新技术，开展辅助驾驶技术研究，将是未来UAM重要的应用区域。然而，随着智能化技术的快速发展，许多包含复杂功能的算法、组件、功能或系统难以或无法通过传统的航空研制保证体系的符合性验证。即使在整机层预期功能的规范足够完备，由于系统组件的性能局限和场景的多样性，感知、决策和控制等功能的实现可能不符合预期^[4]。因此，采取恰当的方式从技术可信性等方面向公众和利益相关方证实智能航电系统的适航安全性，并预防由于预期功能安全(Safety Of The Intended Functionality，SOTIF)所导致的危害，是民用航空工业从自动化发展体系向智能化发展体系过渡需要面对的关键问题，亦是采用智能化机载技术的eVTOL航空器进入市场的重要前提^[5-6]。

运行时保证(Run-Time Assurance，RTA)作为一种典型的安全风险减缓技术，受到包括美国国家航空航天局(National Aeronautics and Space Administration，NASA)^[7]、欧洲航空安全局(European union Aviation Safety Agency，EASA)^[8]和德国宇航中心^[9]等机构的重点关注。RTA通过在智能化系统的执行过程中提供额外的监控和备用功能，规定智能化系统的运行范围，修正其可能带来潜在风险的输出，确保系统的行为始终位于安全范围内。诸多研究将RTA与智能化机载技术相结合，如DARREN等^[10]基于美国材料与试验协会发布(American Society for Testing Materials，ASTM)的ASTM F3269-17 的RTA架构，使用多种RTA监视组件限制学习型组件的行为。SALMAN等^[11]提出一种在具有分布式航空电子架构的多旋翼飞行器上实现RTA切换逻辑的方法，以保障遇到故障时飞行的连续性。ZACK^[12]探究了一种基于RTA架构的通用航空飞机轨迹预测算法，以预防碰撞和失控情况。上述将RTA架构应用于智能化飞行器的研究多局限于飞行的稳定性与连续性，与实际UAM场景中同时避开动态与静态障碍物、保证SOTIF安全的任务需求仍存在一定差距。

鉴于此，笔者拟使用RTA架构保证SOTIF，由人工势场法改进的柔性动作评价(Soft Actor-Critic，SAC)算法实现复杂功能，基于动态反应规划(Dynamic Reactive Planning，DRP)备用功能，与监视关键参数的决策模块共同组成RTA架构，实时检查该复杂避障输出的安全性，并修正超出安全区域的行为，保证智能避障系统输出的安全性，以期减缓SOTIF危险。

1 eVTOL避障系统的SOTIF分析

收起

无论是汽车工业中的V模型产品开发流程，还是民用飞机研制过程中的双V模型，出发点仍是基于需求的定义和迭代。由于驾驶舱智能系统使用场景的复杂性和人工智能基于数据驱动的特点，与智能系统安全相关的很多问题在设计阶段无法预见，无法准确定义需求。国际标准化组织针对智能系统中影响更广泛的非故障安全领域，发布了Safety of the intend-ed functionality^[13]。该标准围绕自动驾驶系统的性能限制或人员可预见的误用造成的危害，从安全性和已知性的角度，将eVTOL运行场景划分为4个区域，如图1所示。在系统研制初期，区域2和区域3的比例较高，而SOTIF的目的就是评估潜在风险，通过改善系统功能、限制运行设计域(Operational Design Domain，ODD)和反馈测试结果3种手段，尽可能缩小区域2和区域3的场景比例，确保场景控制在安全范围内^[14]。

智能机载技术则面临着SOTIF问题，eVTOL避障功能的SOTIF危险产生机制如图2所示。由于智能航电系统在感知、决策等方面易受外界环境干扰，即使系统并未发生故障，也可能由于黑盒输出的不稳定性导致预期功能发生偏离。针对eVTOL智能化避障系统的可信性问题，目前，从SOTIF角度出发的功能改进方法众多，通过功能冗余的方法来解决智能系统带来的不确定性问题简单且行之有效。

针对上述问题，RTA方法用监控模块和控制模块包围不安全的AI/ML组件。监控模块通过检测系统复杂功能的输入输出和内部状态变量，以此判断系统是否在正常功能域内运行。若系统在运行时检测到异常，RTA切换器将会进行重新配置，用备用功能代替异常的复杂功能，最大限度地将安全理念融入到人机环系统的全生命周期 ^[15]。

2 eVTOL避障系统的RTA方法

收起

RTA的系统架构主要由被控对象、复杂功能、备用功能和监控与决策控制模块组成，如图3所示。在航空器飞行过程中，RTA监视器不断记录和计算系统的运动状态和环境状况，并进行检测分析，记安全环境状态为

ϕ s

;若检测到有异常状况和非预期功能问题的突发情况，记此时的环境状态为

ϕ u

。当RTA监视器检测到有环境状态

ϕ s

和

ϕ u

之间的转化时，RTA会将系统的控制权从复杂功能移交给备用功能，以保障SOTIF。

2.1 基于SAC的复杂避障功能设计

SAC^[16]算法是一种适合连续动作空间的强化学习算法，该算法具有1个Actor网络、2个Critic网络和2个Critic目标网络。记Actor网络的参数为θ，2个Critic网络的参数分别为

ψ 1

和

ψ 2

，2个Critic目标网络的参数分别

ψ - 1

和

ψ - 2

，t为时间步，Actor网络接收输入的环境状态s_t。根据输出的动作空间概率分布的均值和方差，生成动作a_t。根据目前采集到的状态和动作，使用人工势场法(Artificial Potential Field，APF)计算当前位置受到的障碍物的斥力和目标的引力，优化动作a_t，以生成高效且安全的新动作

a' t

，执行后动作

a' t

转移至新状态

s t + 1

。利用Critic网络评估新动作

a' t

，得到奖励值r_t。利用Critic目标网络评估当前状态，得到Q值；Actor网络输出的动作使得动作熵和Critic网络输出的动作价值变大，表明采取的动作是一个较好的动作，使Critic目标网络对当前状态的价值评估值变大，则更新网络参数。APF改进SAC算法伪代码见表1。

2.2 基于DRP的备用避障功能设计

备用功能负责航空器在运行过程中遇到异常状况或有SOTIF危险的突发障碍时接管避障控制权，以避免危险。与复杂避障功能相比，备用功能不追求避障的效率，仅用于输出安全的避障路径。

NASA等在2021年改进了DRP^[17]方法，该方法通过不断计算避免碰撞的方案，达到和障碍物保持安全距离、且不超出空中走廊的限制范围的目的。在DRP的研究基础上，提出基于航向指令和距障碍物距离随时间步获取避障指令的方法，直到水平和垂直方向上的安全域都不被侵犯，备用功能修正eVTOL航向的运行如图4所示。

首先，记航空器水平和垂直方向上的安全距离分别为d_h、d_v，当前时刻距障碍物水平方向和垂直方向的距离分别为

d (x ， y) ≡ (d x ， d y) 、 d z

。通过定义圆柱范数

‖ d c ‖

来表示航空器与障碍的归一化后的相对距离，公式如下：

(1)

‖ d c ‖ = m a x ‖ d (x ， y) ‖ d h ， | d z | d v

当

‖ d c ‖ ≤ 1

时，航空器不能保持由圆柱范数所定义的安全距离，备用功能所搭载的DRP控制器发挥作用，输出航向控制指令，同时，不断计算安全距离，直至恢复安全距离时，切换回基于SAC的复杂避障功能，航向控制指令计算如下：

(2)

V t = X t · i + Y t · j + Z t · k

(3)

X · t = V t c o s (γ t) c o s (ψ t)

(4)

Y · t = V t c o s (γ t) s i n (ψ t)

(5)

Z · t = V t s i n (γ t)

式中：

V t

为当前时刻的速度；

X t 、 Y t 、 Z t

为3个方向上的速度分量，m/s;

γ t 、 ψ t

分别为航向角和俯仰角，rad。在不能保持安全距离的方向上，输出航向沿障碍物切线的镜像对称

(γ' t ， ψ' t)

，随时间步更新eVTOL的航向，获取备用功能控制下的避障路径，直至eVTOL不再处于危险状态。

2.3 RTA架构及功能切换逻辑定义

RTA架构主要由复杂功能、备用功能和监控与决策模块组成。无论采取何种方法为具有高级、不可信组件的系统提供运行时保护，主要目标是不严格限制或限制复杂功能的操作范围。文中开发的框架对先进系统的允许操作区域施加了限制，复杂功能系统的运行范围仅限于

ϕ s

规定的安全范围。备用功能系统的操作范围需要大于复杂功能系统的操作范围，必须覆盖

ϕ s

。但备用功能主要是保障系统回到安全状态，其路径效率并不关键，故安全状态时使用复杂功能，备用功能仅用于位于不安全的状态集合内。

RTA的监视与决策模块系统有2个主要功能：①监视环境状态。一旦RTA监视器检测到环境状态有

ϕ s

和

ϕ u

之间的转换便会激活控制模块。②RTA的决策模块被激活后按上述规则会移交控制权，以达到安全且高效的避障效果。

NASA针对无人机避障功能研发了侦测与躲避DRP方法，运用算法处理机载传感器的数据，计算出到达安全距离限制的时间间隔，并与其他飞机维持安全距离，DRP避障分离规则如图5所示。

图5中，DRP避障分离规则由5部分组成：

1) 保持最小距离。始终保持与其他航空器或障碍的最小横向与垂直距离。

2) 遵守 TCAS/RA。如果飞机不能达到规定的 RA所规定的垂直或水平速度，则使其固定为预设最大允许的安全速度。

3) 遵循航行优先权。遵循既定的空中航行优先权约束。

4) 躲避入侵航空器。根据入侵航空器动态行为规划避障路径。

5) 保持净空(Well-Clear)。航线应与其他障碍或航空器保持良好的横向和垂直距离。

基于以上分类，采用最关键的最小分离间距和保持净空体积规则设计eVTOL避障功能切换逻辑。eVTOL距离分层设计如图6所示。当eVTOL运行域在保持净空体积外，此时状态为

ϕ s

，系统使用复杂功能控制动作输出。当RTA监视器检测到eVTOL在保持净空体积及以内出现障碍物，此时，由R₂定义的圆柱范数小于1时，发生从

ϕ s

到

ϕ u

的状态转变。特别地，若障碍物与eVTOL的距离小于R₁，此时不能保持最小安全距离，eVTOL处于极度危险的状态，记为

ϕ u *

，有

ϕ u * ⊂ ϕ u

。当

ϕ ∈ ϕ u

时，为降低SOTIF危险，将控制权移交给备用功能，备用功能调整航向以降低风险。同时，RTA的监视器不断计算障碍物与eVTOL的距离，直至由R₂规定的圆柱范数再次大于1，即复杂功能规划的航迹不再位于

ϕ u

状态内，视为脱离安全限制状态，RTA监视器将控制权交还给复杂功能以保障运行效率。

根据eVTOL所处状态

ϕ

作为划分依据，结合文献[13]和DRP避障分离规则进行场景划分，将DRP避障分离规则对应到SOTIF划分的4类场景中，结果见表2。

3 实例验证

收起

设计基于UAM的三维复杂场景，开展eVTOL避障系统算法的训练、测试和有效性分析。仿真基于Windows 10与Python 3.8的软件环境运行，深度强化学习试验参数见表3。

为验证仅使用传统强化学习能否应对SOTIF要求，设计了既包含静态障碍物、又在正常运行过程中遇到突发障碍物的复杂场景。在选取的试验场景中，以eVTOL为中心，标定最小安全距离和保持净空区。保持净空体积的半径设置为30m，高度为30m;最小分离体积半径为15m。场景中的静态障碍物构成主要为城市中禁飞区和高层静态障碍物，使用圆柱体近似。以1表示禁飞区，2表示高层静态障碍物突发动态障碍物来源于其他eVTOL，该突发障碍物出现在eVTOL的预定航路中。记录eVTOL起终点与运行状态，见表4。

多次运行仿真的避障效果如图7所示。从图7可以看出，eVTOL在动静态障碍物并存的情况下仍可以保持良好的避障能力，满足SOTIF，仅在第2次仿真中不能保持净空，出现SOTIF危险的情况。该场景下，eVTOL和动态障碍物恰好在相近高度汇流，同时还需要避开静态障碍物，RTA的监控器实时检查智能避障系统的输出，发现智能避障系统不能完全保证SOTIF的要求，出现距静态障碍物2过近的情况，此时，eVTOL处于未知安全/未知不安全的状态，存在SOTIF危险。

针对出现SOTIF危险的第2次仿真进行详细分析，仅使用传统强化学习的避障航迹如图8所示。由图8a和图8c可以看出，第2次仿真中，仅使用人工势场法改进的SAC算法，eVTOL可以根据障碍物所在位置计算引力场和斥力场大小，同时避让静态障碍物和动态突发障碍物，自主规划航路，并到达终点；从图8b可以看出，行驶过程中出现eVTOL不能保持水平方向的安全距离的时刻，不能满足保持净空的要求。

第2次仿真过程的eVTOL高度变化如图9a所示。eVTOL在水平和垂直方向上都满足避开动态障碍物的需求，并且到达终点。但是，在避让突发障碍物的过程中，eVTOL向右行驶，经计算距离后发现，虽然在水平方向上与突发动态障碍物相遇时，eVTOL高度高于突发障碍物，避免了碰撞，但与静态障碍物2距离过近(图9b)，在A、B 点之间的时刻会出现同时避让多个障碍物时不能保持净空体积的状态，这使eVTOL处于危险的状态。尽管在设计时可以满足规划航路的需要，但是，在应对复杂场景时，即使功能未发生故障，仍会出现由于性能缺陷而导致的危害，应该对强化学习的运行域加以限制。

由于强化学习进行路径规划的过程完全基于数据驱动，过于依赖于奖励函数的设置，本身不具备风险量化的功能，并不会完全遵循保持净空区的安全准则，因此，需要进行相应功能拓展，以降低非故障风险。从SOTIF的角度出发，使用RTA方法解决此类由于功能不足导致的不合理风险，以应对复杂场景下的智能航电系统的性能局限和规范不足，仿真结果如图10所示。在A点，RTA监视器检测到eVTOL的飞行状态脱离了规定的安全运行域

ϕ s

，控制权随之移交给备用功能。备用功能DRP通过不断计算与障碍物之间的距离，修正目前的航向，引导eVTOL回到安全运行域

ϕ s

。在B点，RTA监视器检测到eVTOL脱离碰撞风险，控制权再次交还给复杂功能以保障运行性能，算法性能对比见表5。

由表5可以看出，在多障碍物的UAM复杂场景下，配备RTA功能的eVTOL避障功能的鲁棒性、逻辑完备性得到增强。在不使用RTA进行避障时，航路长度为324.98m，应用RTA方法后，航路长度为328.08m，总行程增加0.95%，在复杂环境中安全时长占比为98.15%，远高于仅使用传统强化学习的78.4%，使用RTA后有效支持了城市空中交通场景下的eVTOL安全避障。

4 结论

收起

1) 相较于传统避障系统，RTA可以通过改善系统功能和限制运行设计域的方式，在保证效率的同时，降低在运行场景中的运行风险，实现在复杂场景中的避障，安全时长占比由78.4%提高到98.15%，保障SOTIF安全。

2) RTA能够降低包含人工智能技术的航电系统的验证难度，修正智能化系统可能带来的潜在风险，提高智能化航电系统的安全性和适航置信度。

基金

收起

民用航空器适航审定技术重点实验室开放基金资助(SH2023101701)
中央高校基本科研业务费(3122022044)
中央高效基本科研业务费(3122022QD07)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

MENOUAR

, GUVENC

, AKKAYA

, et al. UAV-enabled intelligent transportation systems for the smart city: applications and challenges[J]. IEEE Communications Magazine, 2017, 55(3): 22-28.

[2]

李诚龙, 屈文秋, 李彦冬, 等. 面向eVTOL航空器的城市空中运输交通管理综述[J]. 交通运输工程学报, 2020, 20(4): 35-54.

Chenglong

, QU

Wenqiu

, LI

Yandong

, et al. Overview of traffic management of urban air mobility (UAM) with eVTOL aircraft[J]. Journal of Traffic and Transportation Engineering, 2020, 20(4): 35-54.

[3]

绿色航空制造业发展纲要(2023—2035年)[EB/OL].(2023-10-10). https://www.gov.cn/zhengce/zhengceku/202310/content_6908243.htm. https://www.gov.cn/zhengce/zhengceku/202310/content_6908243.htm

[4]

SCHWEIGER

, ANNIGHOEFER

, REICH

, et al. Classification for avionics capabilities enabled by artificial intelligence[C]. 2021 IEEE/AIAA 40^th Digital Avionics Systems Conference (DASC), 2021 :1-10.

[5]

DEY

, LEE

S W

. Multilayered review of safety approaches for machine learning-based systems in the days of AI[J]. Journal of Systems and Software, 2021, 176: DOI:10.1016/j.jss.2021.110941.

[6]

董磊, 刘嘉琛, 陈曦, 等. 面向适航符合性的智能航电系统认证研究进展[J]. 航空工程进展, 2023, 14(3): 26-40.

DONG

Lei

, LIU

Jiachen

, CHEN

, et al. Research progress of AI-based avionics system certification for airworthiness compliance[J]. Advances in Aeronautical Science and Engineering, 2023, 14(3): 26-40.

[7]

Yuning

, SCHUMANN

, YU

Huafeng

. Toward runtime assurance of complex systems with AI components[C]. PHM Society European Conference, 2022: 166-174.

[8]

EASA. Concepts of design assurance for neural networks (CoDANN) II[R], 2021.

[9]

SCHIRMER

, TORENS

, DAUER

J C

, et al. A hierarchy of monitoring properties for autonomous systems[C]. AIAA SCITECH 2023 Forum, 2023: 2588-2601.

[10]

COFER

, AMUNDSON

, SATTIGERI

, et al. Run-time assurance for learning-based aircraft taxiing[C]. 2020 AIAA/IEEE 39^th Digital Avionics Systems Conference (DASC), 2020: 1-9.

[11]

GHORI

, KHAMVILAI

, FERON

, et al. Runtime assurance for distributed avionics architecture[C]. 2022 IEEE/AIAA 41^st Digital Avionics Systems Conference (DASC), 2022: 1-6.

[12]

KIRKENDOLL

. Automatic ground collision avoidance and loss of control prevention systems for general aviation using run-time assurance[C]. 2022 IEEE/AIAA 41^st Digital Avionics Systems Conference (DASC), 2022: 1-10.

[13]

ISO/PAS 21448-2019, Safety of the intend-ed functionality[S].

[14]

罗崎瑞, 张道文, 周华, 等. 面向智能汽车预期功能安全的驾驶场景评价[J]. 中国安全科学学报, 2022, 32(8): 140-145.

LUO

Qirui

, ZHANG

Daowen

, ZHOU

Hua

, et al. Evaluation on driving scenarios for safety of intended functionality of intelligent vehicles[J]. China Safety Science Journal, 2022, 32(8): 140-145.

[15]

董陇军, 王加闯. 智能安全人机工程学学科建设及内容体系研究[J]. 中国安全科学学报, 2022, 32(3): 1-8.

DONG

Longjun

, WANG

Jiachuang

. Research on discipline construction and content system of intelligent safety ergonomics[J] China Safety Science Journal, 2022, 32(3): 1-8.

[16]

HAARNOJA

, ZHOU

, HARTIKAINEN

, et al. Soft actor-critic algorithms and applications[J]. arXiv Preprint, 2018:DOI:10.48550/arXiv.1812.05905.

[17]

COOPER

J K

, SCHIERMAN

J D

. A sense and avoid system for unmanned aircraft in formation flight[C]. AIAA Guidance, Navigation, and Control Conference, 2014: 967-986.

2024年第34卷第7期

PDF下载

389

169

引用本文

BibTeX

文章信息

doi: 10.16265/j.cnki.issn1003-3033.2024.07.0198

接收时间：2024-01-13
首发时间：2025-07-09
出版时间：2024-07-28

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-01-13
修回日期：2024-04-21

基金

民用航空器适航审定技术重点实验室开放基金资助(SH2023101701)

中央高校基本科研业务费(3122022044)

中央高效基本科研业务费(3122022QD07)

作者信息

¹ 中国民航大学民航航空器适航审定技术重点实验室，天津 300300

² 中国民航大学科技创新研究院，天津 300300

³ 中国民航大学中欧航空工程师学院，天津 300300

⁴ 中国民航大学安全科学与工程学院，天津 300300

通讯作者:

^** 陈曦(1987—)，男，河北邯郸人，博士，助理研究员，主要从事模式识别与图像处理方面的研究。E-mail：csxichen@outlook.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/zgaqkxxb/CN/10.16265/j.cnki.issn1003-3033.2024.07.0198

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

伪代码1:APF改进SAC算法
初始化参数 $θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2$ 初始化经验池 for轮次=1到M 接收初始状态 $s 1$ for t = 1到T 依据策略 $π (θ)$ 和状态 $s t$ 生成动作 $a t$ APF优化 $a t$ → $a' t$ 执行动作 $a' t$ ，观察奖励 $r t$ 和新状态 $s t + 1$ 将 $(s t ， a t ， r t ， s t + 1)$ 添加到经验池D for j = 1 to更新次数do 经验池D随机采样一批数据计算评论家目标网络的Q值更新评论家网络参数 $ψ 1$ 和 $ψ 2$ 更新演员网络参数 $θ$ 软更新评论家目标网络参数 $ψ - 1$ 和 $ψ - 2$ end for 令 $s t ← s t + 1$ end for end for

伪代码1:APF改进SAC算法

初始化参数

θ ， ψ 1 ， ψ 2 ， ψ - 1 ， ψ - 2

初始化经验池
for轮次=1到M
接收初始状态

s 1

for t = 1到T
依据策略

π (θ)

和状态

s t

生成动作

a t

APF优化

a t

→

a' t

执行动作

a' t

，观察奖励

r t

和新状态

s t + 1

将

(s t ， a t ， r t ， s t + 1)

添加到经验池D
for j = 1 to更新次数do
经验池D随机采样一批数据
计算评论家目标网络的Q值
更新评论家网络参数

ψ 1

和

ψ 2

更新演员网络参数

θ

软更新评论家目标网络参数

ψ - 1

和

ψ - 2

end for
令

s t ← s t + 1

end for
end for

SOTIF场景	DRP类型	运行状态
已知安全	$ϕ ∈ ϕ s$	安全
已知不安全	$ϕ ∈ ϕ u *$	非常危险
未知安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$	危险
未知不安全	$ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *$

SOTIF场景

DRP类型

运行状态

已知安全

ϕ ∈ ϕ s

安全

已知不安全

ϕ ∈ ϕ u *

非常危险

未知安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

危险

未知不安全

ϕ ∈ ϕ u 且 ϕ ∉ ϕ u *

参数	数值
熵正则化系数 $α$	0.2
训练批次大小	128
经验池大小	10⁶
探索函数	随机动作

参数

数值

熵正则化系数

α

0.2

训练批次大小

128

经验池大小

10⁶

探索函数

随机动作

编号	起点	终点	状态
1	(330，0，225)	(0，225，225)	已知安全
2	(330，0，105)	(0，225，180)	未知安全/ 未知不安全
3	(330，75，225)	(0，75，75)	已知安全
4	(330，75，105)	(0，75，180)	已知安全
5	(330，105，75)	(0，0，225)	已知安全
6	(330，225，225)	(0，0，75)	已知安全
7	(330，225，75)	(0，0，225)	已知安全
8	(330，225，180)	(0，0，180)	已知安全

编号

起点

终点

状态

(330，0，225)

(0，225，225)

已知安全

(330，0，105)

(0，225，180)

未知安全/
未知不安全

(330，75，225)

(0，75，75)

已知安全

(330，75，105)

(0，75，180)

已知安全

(330，105，75)

(0，0，225)

已知安全

(330，225，225)

(0，0，75)

已知安全

(330，225，75)

(0，0，225)

已知安全

(330，225，180)

(0，0，180)

已知安全

方法	航路长度/m	安全时长占比/%
仅使用强化学习	324.98	98.15
RTA避障	328.08	78.4

方法

航路长度/m

安全时长占比/%

仅使用强化学习

324.98

98.15

RTA避障

328.08

78.4