汽车工程

方法	速度/（km·h^-1）	舒适度/（m·s^-2）
EPSILON	42.21	4.22
本文算法	47.56	1.90

方法	速度/（km·h^-1）	舒适度/（m·s^-2）
EPSILON	42.21	4.22
本文算法	47.56	1.90

不确定性环境下的自动驾驶汽车行为决策方法^*

PDF下载

付新科 ¹ , 蔡英凤 ¹ , 陈龙 ¹ , 王海 ² , 刘擎超 ²

汽车工程 | 专题：汽车智能化关键技术 2024,46(2): 211-221

收起

汽车工程 | 专题：汽车智能化关键技术 2024, 46(2): 211-221

不确定性环境下的自动驾驶汽车行为决策方法^*

全屏

付新科¹, 蔡英凤¹, 陈龙¹, 王海², 刘擎超²

作者信息

^1. 江苏大学汽车工程研究院，镇江 212013

^2. 江苏大学汽车与交通工程学院，镇江 212013

通讯作者:

蔡英凤，教授，博士，Email：caicaixiao0304@126.com。

Decision-Making for Autonomous Driving in Uncertain Environment

Xinke Fu¹, Yingfeng Cai¹, Long Chen¹, Hai Wang², Qingchao Liu²

Affiliations

^1. Institute of Automotive Engineering，Jiangsu University，Zhenjiang 212013

^2. School of Automotive and Traffic Engineering，Jiangsu University，Zhenjiang 212013

出版时间: 2024-02-25 doi: 10.19562/j.chinasae.qcgc.2024.02.003

文章导航

摘要

收起

在真实驾驶环境中，由于感知数据的噪声和其他交通参与者难以预测的行为意图，自动驾驶汽车如何在高度交互的复杂驾驶环境中考虑不确定性因素的影响，做出合理的决策，是当前决策规划系统须解决的主要问题之一。本文提出了一种不确定性环境下的自动驾驶汽车行为决策方法，为消除不确定性的影响，将行为决策过程转化为部分可观察马尔可夫决策过程（POMDP）。同时为解决POMDP模型计算复杂度过高的问题，首次将复杂网络理论应用于自动驾驶汽车周围微观的驾驶环境，对自动驾驶汽车驾驶环境进行动态建模，实现了车辆节点间交互关系的有效刻画，并对重要车辆节点进行科学筛选，用于指导自车的行为决策，实现对关键车辆节点的精准识别和决策空间的剪枝。在仿真环境中验证了所提方法的有效性，实验结果表明，与现有最先进的行为决策方法相比，所提出的方法拥有更高的计算效率，且拥有更好的性能和灵活性。

关键词

自动驾驶汽车 / 行为决策 / 部分可观察马尔可夫决策过程 / 复杂网络

Abstract

收起

In the context of real-world driving environments，due to the perturbation of perception data and the unpredictable behavior of other traffic participants，rational decision-making in highly interactive and intricate driving scenarios considering the impact of uncertainty factors is one of the main concerns that decision-making and planning systems for autonomous vehicles must address. A behavioral decision-making method for autonomous vehicles navigating in uncertain environments is proposed in this paper. To mitigate the impact of uncertainty，the behavioral decision-making process is transformed into a partially observable Markov decision process （POMDP）. Furthermore，to tackle the computational complexity of the POMDP model，the complex network theory is applied for the first time for dynamically modeling the microscopic driving environment surrounding the autonomous vehicle，which allows for the effective characterization of interaction relationship between vehicle nodes and the scientific selection of significant vehicle nodes，guiding the autonomous vehicle's decision-making process，enabling precise identification of critical vehicle nodes，and pruning the decision space. The effectiveness of the proposed method is verified in a simulation environment，and the experimental results show that the proposed method has higher computational efficiency，superior performance，and enhanced flexibility in comparison to existing state-of-the-art behavioral decision-making methods.

Key words

autonomous vehicles / decision-making / POMDP / complex network

引用本文

付新科, 蔡英凤, 陈龙, 王海, 刘擎超. 不确定性环境下的自动驾驶汽车行为决策方法^*. 汽车工程, 2024 , 46 (2) : 211 -221 . DOI: 10.19562/j.chinasae.qcgc.2024.02.003

Xinke Fu, Yingfeng Cai, Long Chen, Hai Wang, Qingchao Liu. Decision-Making for Autonomous Driving in Uncertain Environment[J]. Automotive Engineering, 2024 , 46 (2) : 211 -221 . DOI: 10.19562/j.chinasae.qcgc.2024.02.003

正文

收起

前言

收起

近年来，自动驾驶和高级辅助驾驶技术取得了重大进展，尤其深度学习和其他人工智能技术的快速发展，自动驾驶汽车的感知能力有了显著提升。但在实际驾驶环境中，由于目标识别、检测和跟踪过程均存在误差或噪声，要获得“完美”的感知数据几乎是不可能的。更为重要的是，实际交通场景下，自动驾驶汽车与周边多交通主体行为之间存在很强的关联交互影响，导致难以准确预测周边多目标的行为意图和未来轨迹。如何在高度交互的复杂驾驶环境当中，考虑感知和预测等存在的不确定性因素影响，建立一套兼顾效率和性能的行为决策系统，是当前自动驾驶汽车急需解决的主要问题之一。

近年来，许多学者已经对自动驾驶汽车的行为决策方法做了大量研究^[1]。基于规则的方法具有结构简单、易于实现等优点，因此在早期的研究工作或现阶段低级别的自动驾驶汽车中十分流行，此类方法^[2-4]根据驾驶任务或驾驶状态，在人工制定的规则或知识库中选择适当的行为决策策略。然而随着自动驾驶汽车须解决的驾驶环境越复杂，且感知及预测模块输入存在多模态与不确定性等特点，用有限的规则来涵盖包含无限可能的真实驾驶环境，往往会迫使自动驾驶汽车采用十分保守的行为决策策略。

近些年随着深度神经网络（DNN）和强化学习（RL）的兴起，许多学者尝试将其与自动驾驶汽车的行为决策方法相结合。Chen等^[5]利用道路状况、车距、车道标记距离等信息作为感知输入训练深度神经网络，利用训练好的神经网络对驾驶行为进行评估，从而生成决策策略。Desjardins等^[6]提出了一种基于强化学习的自适应巡航控制系统。然而实际的驾驶环境往往具有很高维度，只依靠强化学习很难对复杂驾驶环境进行处理，因此将深度学习应对高维输入的能力与强化学习相结合的深度强化学习（DRL）的方法成为了研究热点，很多学者^[7-9]都尝试使用相似的方法对模型进行训练，生成基于DRL的自动驾驶决策系统，相比于经典的行为决策方法，这些方法面对高维不确定性的驾驶环境时，通常有着更好的表现。此外，一些学者尝试在DRL当中融入基于规则的方法，以充分发挥两种方法的优点，Fu等^[10]将专家知识库和深度强化学习相结合，提出了一种融合规则的混合式自学习行为决策方法。然而现阶段几乎所有的基于学习的方法都假设驾驶环境是完全可知的马尔科夫决策过程（MDP），但由于感知误差以及交通参与者难以预测的随机性行为，真实驾驶环境当中自车的行为决策不可避免地会受到不确定性因素的影响，且由于DNN本身的“黑盒”特性，也使这些方法难以应用于真实的驾驶环境。

为适应高度交互的不确定性驾驶环境，大量学者将行为决策方法表述为POMDP^[11]过程，POMDP给出了在不确定性环境下进行决策的原则性方法，且在数学逻辑上是严谨的，但当驾驶环境越发复杂时，POMDP问题将变得难以求解。因此，许多学者在经典的POMDP模型上进行改进，并提出了一系列在线求解器^[12-15]。依托于在线求解器的研究成果，一些工作^[16-19]已经将POMDP应用于自动驾驶汽车的行为决策，然而这些研究工作的计算效率依然较低，难以满足真实驾驶场景中实时性的要求，且用于验证的实验场景十分简单。

为解决计算效率的问题，Cunningham等^[20-21]提出了一种十分具有代表性的方法对经典的POMDP进行简化，即多策略决策（MPDM），该方法首先设计了一组语义级策略，然后进行闭环的前向仿真模拟以评估挑选最佳的行为决策策略。Nishi等^[22]用DRL的方法替换了MPDM前向仿真模拟的过程，实现了更高的计算效率，但是由于引入了DRL的方法，使其难以应用于真实的驾驶场景。Ding等^[23-24]在MPDM基础上进行了一系列改进，提出了EPSILON算法，通过引入引导分支及新的前向仿真模型进一步提升算法的计算效率及鲁棒性。然而上述方法在提升算法效率的同时牺牲了部分POMDP模型的精确性，这限制了行为决策的“智能”水平。

本文在EPSILON算法的基础上引入基于复杂网络理论的建模方法对动态交互的驾驶环境进行抽象，并通过可变高斯安全场实现驾驶场景中各交通参与者交互关系的有效刻画，并提取重要车辆节点、生成风险树，用于指导POMDP的决策过程，在进一步提升算法效率的同时，提升算法的精确度，实现更灵活的行为决策。

复杂网络理论起源于图论，经过不断的发展和完善，其研究内容涵盖了个体动力学、交互耦合、空间拓扑、时间演化等方面^[25-33]，通过对复杂系统的合理抽象，复杂网络理论为复杂系统的认知提供了基础的研究方法和分析工具。自动驾驶汽车所处的驾驶环境具有高维性、多样性和动态性等特征，是一个典型的复杂动态交通网络演化过程，且在大多数的驾驶场景中，驾驶员并不需要关心环境中的全部车辆。因此，通过复杂网络理论对驾驶环境进行抽象，可以将复杂的真实驾驶环境简化为关键车辆节点对之间的关系，降低POMDP决策模型复杂度，加速求解并实验更灵活的行为决策。

综上所述，本文将复杂网络理论与基于POMDP的行为决策方法相结合，提出了一种不确定性环境下的自动驾驶汽车行为决策方法。首先，将驾驶环境中的交通参与者建模为复杂网络中的动态节点，应用提出的可变高斯安全场实现车辆节点的状态认知和风险关联认知，按照各认知域内节点的重要程度，提取重要节点、生成风险树；随后，POMDP模型利用提取的重要节点对决策空间进行剪枝；然后，将自车与重要车辆节点可能的行为意图设定为一个场景进行闭环前向仿真模拟，并对重要节点所形成的风险树中的车辆节点的行为意图进行更新；最后，从仿真模拟的场景中挑选最优的行为决策策略。结果表明本文所提出的方法可以较明显地提升运算速度，且具备更优越的性能，并做出更加灵活的决策行为。综上所述，本文的主要贡献如下。

（1）提出了应用复杂网络理论对驾驶场景进行动态建模的方法。首次将复杂网络理论应用于驾驶环境中的微观网络，实现了对驾驶环境的动态建模。

（2）通过将复杂的驾驶环境抽象为动态的网络模型，根据提出的可变高斯安全场理论，实现车辆节点动态交互关系的有效刻画，并按照各认知域内节点的重要程度，提取重要节点、生成风险树，用于指导自动驾驶汽车的行为决策。

（3）通过复杂网络建模提取关键车辆节点，使自车只须关注对其产生较大影响的车辆节点，而不是去关注环境中的所有车辆，从而使算法利用更少的算力实现更高的计算效率，且由于可以精确地识别环境中的重要车辆节点，算法可以实现更高的精确度并做出更灵活的行为决策策略。

1 基本原理与实施细节

收起

1.1 框架概览

本文所提出的行为决策系统框架如图1所示。

驾驶环境建模位于系统的上层，其由3个过程组成，即车辆节点建模、认知域划分、节点间风险认知。车辆节点建模包括对驾驶环境中的车辆进行运动学与动力学建模，同时根据提出的可变高斯安全场评估节点间的风险态势，然后根据人类驾驶员的反应时间将模型的认知范围划分为3个区域，最后根据不同认知域内节点间风险等级的不同评估重要节点并提取风险树。

下层同样由3个过程组成，即决策空间构建、前向仿真模拟、策略评估。决策空间构建过程中根据评估出的重要节点拓展自车的语义级行为序列，同时对重要车辆节点可能的意图组合进行预测。在场景实现过程中，通过将自车行为序列与重要车辆节点可能的意图相结合，形成一个个仿真场景，进行闭环前向仿真模拟，并在模拟过程中对风险树中的车辆节点的预测意图进行更新，最后对各场景的决策策略进行评估，挑选出最佳的行为决策策略输出至轨迹规划模块和控制模块。

1.2 问题描述

1.2.1 引入复杂网络理论对驾驶环境进行抽象

驾驶环境是一个复杂系统，道路和交通标志在其中具有约束作用，包括自动驾驶汽车在内的各运动主体是异构的动力系统，运动物体之间存在基于风险的冲突和耦合关系，体现出互相关联的群体特征。为描述驾驶环境的动态架构和演化规律，基于复杂网络理论，以驾驶环境中的车辆等运动主体为节点，构造动态复杂网络模型：

G t = P, E, W, Θ t

（1）

式中：

G t

为动态的复杂网络模型；

P = p 1, p 2, . . ., p N

为网络中的节点集合，

p i

为网络中的节点，

N

为网络中节点数量；

E = e 1, e 2, . . ., e K

为网络中节点的边集合，

e i

为网络中的节点的边，

K

为网络中节点边的数量；

W = w 1, w 2, . . ., w k

为边的权重集合，表示节点间的耦合强度；

Θ

为节点的可移动区域，表示对网络中节点的动态约束。

Θ

被建模为光滑有界曲面：

F Θ x, y, z = 0, s . t . ∀ x, y ∈ Ω

（2）

式中

Ω

为光滑有界曲面的边界。

考虑在

Θ

上具有

N

个节点的连续时间动态网络，其节点状态方程为

X ˙ i = A i X i + B i U i

（3）

式中：

X i ∈ R m

是节点

p i

的状态向量；

U i ∈ R q

为输入向量；

A i

、

B i

分别为动态矩阵、输入矩阵。状态向量和输入向量分别为自车和其他交通参与者的坐标、速度、航向角等参数。

基于节点状态方程，可得节点

p i

的输出向量：

Y i = f i X i

（4）

则节点

p i

和

p j

之间的权值函数为

w i j = F Y i, Y j

（5）

基于上述的动态复杂网络模型，逐步建立车辆节点的动力学模型、运动学模型和安全场模型，实现节点间的风险认知，将真实的驾驶场景抽象为基于复杂网络的模型，从而将提取的关键车辆节点及风险树输出至行为决策层。

1.2.2 将行为决策转化为POMDP过程

在本文中，设

ε t

表示

t

时刻以自车为中心的驾驶环境，包括前面步骤中建模的认知模型、交通信号、静态障碍占用的栅格地图等；

x t i

表示车辆

i ∈ V

在

t

时刻的状态，当

i = 0

时表示自车，状态量缺少上标时表示所有车辆，缺少下标时表示所有时间点；自车接收到的观测值记为

z t

，并使用观测值去评估真实的状态量

x t

；则行为决策模块的输入记为

z t, ℰ t

，输出为一组连续的离散状态参数，记为

𝒟 t = x t + 1, x t + 2, . . ., x t + H

，其中

H

表示一个规划周期的时间长度，

x t + i

表示

t + i

时刻所有车辆的状态。

应用基于POMDP的数学模型对高度交互的不确定性决策过程进行建模。POMDP模型定义为一组六元素

X, A, Z, T, O, R

。其中：

X

、

A

和

Z

分别为状态空间、行为空间和观测空间；

T

为在

t

时刻车辆采取行为

a t ∈ A

后，连续时刻的状态概率转移函数

T x t - 1, a t, x t = p x t x t - 1, a t

；

O

为状态量与观测量之间的概率函数

O x t, z t = p z t x t

，通过将状态量和观测值用概率分布的形式来表示，用以反映驾驶环境中的不确定性；

R x t - 1, a t

为奖励函数，表示自车在状态

x t - 1 ∈ X

采取行为

a t ∈ A

后获得的实时奖励。

当自车处于真实的驾驶环境中时，状态空间可以表示为

x t = x t 0, x t 1, . . ., x t N ∈ X

，其中

N

为网络中节点的数量，

t

为当前时刻的时间点，车辆

i

的状态量

x t i ∈ X i

包括位姿信息、复杂网络模型中构建的节点强度以及无法直接观测到的车辆隐藏状态（如行为意图）等。由于无法直接确定周围车辆所采取的行为，只能控制自车的输入信息。因此，原问题的行为决策空间可以简化为

a t = a t 0

，

A

等价于

A 0

。则

T

可以表示为

p x t x t - 1, a t = p x t 0, . . ., x t N x t - 1 0, . . ., x t - 1 N, a t 0

（6）

此外，由于大多数交通参与者需要遵守相同的交通规则且具有类似的运动学和动力学特征，因此可以对模型进行合理简化，则有

a t i ∈ A i ∀ i ≠ 0

，同时将自车与其他交通参与者区分开来，并假设其状态的转化是瞬时过渡的，则

T

可以进一步转化为

p x t x t - 1, a t ≈ p x t 0 x t - 1 0, a t 0 ︸ ∏ i = 1 N

∫ 𝒜 i p x t i x t - 1 i, a t i ︸ p a t i x t - 1 ︸ d a t i

（7）

式中：

p a t i x t - 1

为驾驶员模型，可以包含不同的驾驶风格；

p x t i x t - 1 i, a t i

为其他交通参与者的状态概率转移模型。

为消除不确定性的影响，POMDP在置信空间

b ∈ ℬ

上进行决策，其为状态

X

的概率分布。置信空间的置信度将在交通参与者采取行为

a t

并接收到观测量

z t

后，从初始置信

b t - 1

进行更新。本文采用贝叶斯公式进行置信度的更新：

b t x t = p x t z t, a t, b t - 1 = η O x t, z t ·

∫ x t - 1 ∈ x T x t - 1, a t, x t b t - 1 x t - 1 d x t - 1

（8）

式中

η

为归一化因子，即为

p z t, a t, b t - 1

的边缘分布，集成了其中参数所有可能存在的取值。

自车的行为

a t 0

可以由预定义的自车策略生成，自车的观测值

z t 0 = z t

主要包括感知模块的输入信息。对于其他交通参与者，视其自身坐标为其原点，通过坐标转化将

z t 0

转化为

z t i

，而

z t i

完全由自车观测值所确定，假设观测过程是相互独立的，则有：

p z t x t = ∏ i = 0 N p z t i x t i

（9）

则置信更新过程可以进一步表示为

b t x t = η ⋅ p z t 0 x t i ⋅

∫ x 0 p x t 0 x t - 1 0, a t 0 b t - 1 0 x t - 1 0 d x t - 1 0 ⋅ ∏ i = 1 N p z t i x t i ⋅

∬ x i A i p x t i x t - 1 i, a t i p a t i x t - 1 b t - 1 i x t - 1 i d a t i d x t - 1 i

（10）

由上述可知，尽管每个交通参与者的状态转移过程是相互独立的，但

p a t i x t - 1

和

p z t i x t i

中使用了所有交通参与者的状态量和观测值，因此使置信更新过程成为一个交互的过程，从而可以在置信更新过程中逐步更新其他交通参与者的隐藏状态。

因此决策的目的是在置信空间

ℬ

上找到一个最佳决策策略

π *

，使自车在规划周期采取一系列离散行为后，获得最大的奖励期望，则有：

π * = a r g m a x π E ∑ t = t 0 t H γ t - t 0 R x t, π b t b t 0

（11）

式中：

t 0

为当前规划的起始时间；

γ

为奖励

R

的折扣系数，取

0 ≤ γ ≤ 1

；

b t 0

为初始置信；

b t

为

t

时刻的置信。从起始时间和初始置信开始，在规划周期

t H

内，逐步扩展行为空间

A

和观测空间

Z

，并逐步在置信空间中生成置信树的节点，通过对各个节点使用Bellman方程，可以找到最优策略：

V * b = m a x a ∈ 𝒜 Q * b, a = m a x a ∈ 𝒜 ∫ x ∈ 𝒳 b x R x, a d x +

γ ∫ z ∈ Z p z b, a V * τ b, a, z d z

（12）

式中：

V * b = ∫ s ∈ 𝒮 V * s b s d s

为置信度的最优效用函数；

Q * b, a

为在置信空间中采取某个行为后所能获得的最优值。更多细节可参照文献[13]和文献[14]。

为获得更多的隐藏信息，参照文献[23]中的方法，通过置信树寻找每个节点对应的最优策略所对应的行为和观测值：

a t * = a r g m a x a t ∈ 𝒜 Q * b t - 1, a t

（13）

z t * = a r g m a x z t ∈ Z p z t b t - 1, a t *

（14）

得到每个节点最优策略所对应的状态量，包括置信度

b t *

、采取的行为

a t + 1 *

和观测值

z t + 1 *

，即

𝒮 t = b t *, a t + 1 *, z t + 1 *, b t + 1 *, . . ., b t + H *

。对于

𝒮 t

，令

x t = a r g m a x b t * x

，即可得到最终的决策策略

𝒟 t

。

通过反复应用置信度更新公式，则可以从初始置信节点开始构建置信树，并得到最终的决策策略

𝒟 t

。但是置信树的规模将随着树的深度呈指数增长，使其计算复杂度难以处理。本文通过引入复杂网络理论将复杂的驾驶环境抽象为节点间的交互关系，在保证算法处理交互性和不确定性能力的同时提升计算效率。

1.3 基于复杂网络的建模

1.3.1 节点动态建模

利用复杂网络理论对驾驶环境进行抽象，将环境中的车辆视为复杂网络中的节点，车辆节点间的关系视为网络的边，车辆间互相的影响程度视为边的权重。为能够合理地描述层次化的异构车辆节点的状态，提取驾驶环境中的主要特征，本文基于2自由度车辆模型和运动点模型，对车辆进行差异化的节点动态建模方法。

2自由度车辆模型又称平面单轨模型，图2展示了这个模型的几何结构。模型基于以下关键假设，车辆在

x - y

平面上进行平面运动，前轮和后轮都被归纳为一个中心轮。

2自由度车辆模型可由如下公式表示：

U ˙ y = F y r + F y f c o s δ m - r U x r ˙ = a F y f c o s δ - b F y r I z

（15）

式中：模型的状态变量为横摆角速度

r

和侧向速度

U y

；

δ

为前轮转向角；

F y f

和

F y r

分别为驾驶中由前轮转向角

δ

产生的前侧向力和后侧向力；

a

和

b

分别为前轴质心距和后轴质心距；

m

为车辆质量；

I z

为横摆转动惯量；纵向速度

U x

被认为是一个时变参数。

当轮胎转弯特性在线性范围内时，模型可以表示为

U ˙ y = - C f + C r m U x U y - b C r - a C f m U x + U x r + C f m δ r ˙ = - a C f - b C r I z U x U y - a 2 C f + b 2 C r I z U x r + a C f I z δ

（16）

式中

C f

和

C r

分别为前轮侧偏刚度和后轮侧偏刚度。

然而，当缺乏车车通信和实时状态估计的手段时，自车很难得到驾驶环境中各种车辆的模型参数，在这种情况下，可以将相关节点视为具有质心的运动质点，建立相对于期望路径的运动点模型，如图3所示。航向角偏差

Δ ψ

是车辆中心线

l 1

与通过期望路径上最近点

p

的切线

l 2

的夹角；横向路径偏差

e

是从质心CG到期望路径上最近点

p

的距离。

当运动点沿期望路径行驶时，则有：

Δ ψ ˙ = r - s ˙ κ e ˙ = U x s i n Δ ψ + U y c o s Δ ψ

（17）

式中：

Δ ψ

和

e

分别为航向角偏差和横向路径偏差；

s

为沿期望路径的距离；

κ

为期望路径的曲率。

设运动节点

p i

的位置向量为

l j t = x j t, y j t

（18）

以复数表示的速度矢量为

v j t = v j t e x p i θ j t

（19）

θ j t = β j t + Δ ψ j t

（20）

式中

θ j t ∈ 0, θ j m a x

，未来的速度序列

v j t, v j t + Δ t, ⋯, v j t + n Δ t

可以通过激光雷达、摄像机等车载传感器获得，则可以利用如下公式预测运动节点的未来位置：

l j t + n Δ t = l j t + n - 1 Δ t + v j t + n Δ t

（21）

在驾驶安全场理论的基础上，提出基于风险中心转移的可变高斯安全场模型，揭示节点的动态场特性。

将静态的车辆抽象为矩形，其长为

l v

，宽为

w v

，风险中心

O x 0, y 0

为其几何中心，静态安全场由二维高斯函数描述，则静态安全场

S s t a

可表示为

S s t a = C a ⋅ e x p - x - x 0 2 a x 2 - y - y 0 2 b y 2

（22）

式中：

x 0

和

y 0

为风险中心的坐标（即以自车为中心的坐标原点）；

C a

为场强系数，取值为常数，用以调节安全场场强的大小，本文中取值为0.1；

a x

和

b y

是与车辆外形相关的函数。静态安全场的形状的主要控制参数是各向异性：

ε = a x 2 - b y 2 a x 2 + b y 2 = ϕ 2 - 1 ϕ 2 + 1

（23）

为简化求解，

ε

等效地用长宽比表示

ϕ = a x / b y = l v / w v

。静态安全场如图4所示。

当车辆移动时，风险中心将随之转移，新的风险中心为

O ′ x 0 ′, y 0 ′

，如图5所示。

x 0 ′ = x 0 + k v v c o s β y 0 ′ = y 0 + k v v s i n β

（24）

式中：

v

为速度矢量；

k v

为调节因子，且有

0 < k v < 1

（向前）或

- 1 < k v < 0

（向后）；

β

为

v

与

x

轴夹角。

风险中心转移后将形成新的“虚拟车辆”，虚拟车辆的长宽比将随着车辆运动状态的变化而改变，进而使高斯安全场的核心域、限制域和扩展域发生变化，因此本文中应用的高斯安全场是可变的。虚拟车辆的长为

l v ′

，宽为

w v ′

，风险中心

O ′ x ′ 0, y ′ 0

，则动态安全场

S d y n

可表示为

S d y n = C a ⋅ e x p - x - x 0 ′ 2 a x ′ 2 - y - y 0 ′ 2 b y ′ 2

（25）

式中

a x ′

和

b y ′

是与车辆外形和运动状态相关的参数，可等效地用“虚拟车辆”长宽比表示，

ϕ ′ = a x ′ / b y ′ = l v ′ / w v ′

。

1.3.2 认知域划分

在基于复杂网络的驾驶环境建模过程中，通过建立分层认知域和风险认知函数来揭示节点间的交互耦合关系。如图4和图5所示，在平面范围内认知域被划分为3层：第一认知域（黄色虚线内）、第二认知域（蓝色虚线内）和域外空间（蓝色虚线外）。其划分的依据是通过模拟人类驾驶员的反应时间及对距离的敏感度，反映到安全场上即为尺度差异。

第一认知域的范围为

m a x a x ′ ≤ s t h 1

（26）

s t h 1 = t c 1 ⋅ v e

（27）

式中：

s t h 1

为第一阈值；

t c 1

为人类驾驶员的第一认知反应时间；

v e

为环境中其他节点的最大接近速度。

第二认知域的范围为

s t h 1 < m a x a x ′ ≤ s t h 2

（28）

s t h 2 = t c 2 ⋅ v e

（29）

式中：

s t h 2

为第二阈值；

t c 2

为人类驾驶员的第二认知反应时间。第二认知域外的空间定义为域外空间。

驾驶环境中车辆节点的交互是一个动态、复杂的过程，节点之间的风险与速度、距离和航向角密切相关，在可变高斯安全场的框架内，建立节点间的风险认知函数：

R i s k p i, p j = S l, j e x p - k c v j c o s θ i, j

（30）

式中：

S l, j

是节点

p i

在节点

p j

处的场强，

i

和

j

分别表示两不同的车辆节点的编号；

v j

是节点

p j

的标量速度；方向角

θ i, j

是节点

p j

的速度矢量

v j

与节点

p i

的场强矢量

S l, j

的夹角（顺时针为正向）；

k c

为风险认知调节系数。

两个节点之间的风险认知函数值

R i s k p i, p j

即为边的权值

w i j

，代表了两节点之间的耦合强度，其是一种动态的相似权，权值越大表示两节点相关性越强。

1.3.3 重要节点评估和风险树的生成

通过对车辆节点进行动态建模，构建可变高斯安全场以及对认知域的划分，实现了复杂网络的节点、边和权重的构建。通过以上模型，可以在复杂网络的演化过程中实现重要节点的评估和风险树的生成。复杂网络的演化过程如下。

（1）将自车节点设为主节点，连接主节点及其第一认知域内的其他节点，计算相应连边的权重，并按照权重大小进行排序。为方便计算，若与主节点连接方向存在多个节点，则取最近的节点为第一认知域中的节点，其他距离较远的节点视为第二认知域的节点，第二认知域内的节点做同样处理。

（2）在第一认知域中，根据上一步确定的权值序列依次选择环境节点，计算与其他节点的权值并排序，连接权重最大的节点对（如果权重低于设定的阈值，则不连接），如该边已存在，则不再重复连接。

（3）选择第二认知域中的环境节点和第一认知域的节点，连接权重最大的节点对。

（4）在第二认知域中，依次选择环境节点，计算其相对于其他节点的权重，并进行排序，连接权重最大的节点对（如果权重低于设定的阈值，则不连接），如该边已存在，则不再重复连接。

（5）重复步骤（1）~（4）即可得到复杂网络模型的演化序列。

设节点

p i

与所有相邻节点的集合为

N i

；节点强度

r i

为节点

p i

与其相邻节点的权重的总和，则有：

r i = ∑ p j ∈ N i w i j

（31）

将网络中所有节点强度的平均值定义为网络强度

r

，则有：

r = 1 N ∑ i = 1 N r i

（32）

将节点强度

r i

与所有节点的强度之和的比值定义为

I i S

，用以评估节点的重要性，则有：

I i S = r i ∑ i = 1 N r i

（33）

将

I i S

最大的节点定义为重要节点，第一认知域中的重要节点定义为第一类重要节点（非主节点的节点），第二认知域中的重要节点定义为第二类重要节点。将主节点、第一类重要节点和第二类重要节点生成的树定义为风险树。

在基于复杂网络的建模过程中，节点是最基本的认知因素。因此，建立节点动力学模型和运动点模型，是认知节点动态规律的重要一环。基于节点的风险特性，建立了可变高斯安全场模型，既考虑了车辆形状的静态特点，又考虑了其运动引起的动态特性，符合人类的认知特点，具有更好的可解释性，为系统性认知打下了基础。进一步地，提出层次化认知域的概念，建立了风险认知函数及其敏感性的计算方法，为节点交互及其演化规律的认知提供支持，形成了复杂网络中连边的权值。最后，在此基础上复杂网络的生成过程中，实现重要节点的识别与风险树的生成，使其指导自车的行为决策。

1.4 基于POMDP的行为决策

通常情况下，人类驾驶员倾向于只考虑一系列语义级的决策行为（如车道保持、避让、超车等）。因此，本文模仿人类驾驶员的特征，通过利用持续时间更长的语义级行为，来描述驾驶环境中交通参与者的行为意图，降低置信树的深度。POMDP无法直接观察到其他交通参与者的行为意图，需要对其行为空间中的语义级行为进行采样，然而随着交通参与者的增加，采样所需的计算成本将呈指数级增长。在真实的驾驶场景中，驾驶员通常无须关注环境中的所有车辆。本文通过引入基于复杂网络的建模方法，模仿人类驾驶员的行为，寻找环境中须关注的重点车辆来对观测空间进行剪枝。在EPSILON^[23-24]的基础上，从以下几方面对行为决策算法进行新的改进。

（1）更加安全高效的决策策略：与之前的研究工作相比，所提出的方法在生成自车决策策略时通过构建的风险权重阈值对自车决策树的构建进一步剪枝，提升算法效率和安全性。

（2）更加精准高效的策略评估：与之前的研究工作不同的是，所提出的方法通过基于复杂网络的建模方法评估重要车辆节点，并将其中的不确定性车辆与自车可能的意图组合进行仿真模拟，而不是直接对周围所有车辆可能的意图进行采样，减少原始POMDP的决策空间，实现更精准的仿真模拟。

1.4.1 决策空间构建

为降低置信树的深度，通过模仿人类驾驶员，引入了语义级行为来描述交通参与者的意图。每一种语义级行为包含多个小步骤，包含一系列由控制器预定义的转向角、纵向加速度等参数，可以以闭环的方式执行。用

Φ i

表示车辆

i

的一组离散的预定义语义级行为，

Φ 0

表示自车，

Φ i ≠ 0

表示其他交通参与者（对于不同类型的交通参与者可能会有不同的语义级行为），

ϕ t i ∈ Φ i

表示车辆

i

在

t

时刻的语义级行为，

ϕ t i

根据预定义的控制器基于先前的状态

x t - 1

产生初始的行为动作

a t i

，则有

p a t i x t - 1, ϕ t i

。从语义级行为到原始行为动作的映射考虑了驾驶环境，符合前向仿真模拟的闭环特性。将初始的行为动作替换为语义级行为，则状态概率转移函数

T

可进一步表示为

p x t x t - 1, ϕ t ≈ ∫ 𝒜 0 p x t 0 x t - 1 0, a t 0 ︸ e g o s t a t e t r a n s i t i o n p a t 0 x t - 1, ϕ t 0 ︸ e g o c o n t r o l l e r d a t 0 ·

∏ i = 1 N ∫ 𝒜 i p x t i x t - 1 i, a t i ︸ i t h a g e n t ′ s t r a n s i t i o n p a t i x t - 1 ︸ d r i v e r m o d e l d a t i

（34）

当为其他交通参与者引入语义级动作后，则其他车辆的驾驶模型可表示为

p a t i x t - 1 = ∑ ϕ t i ∈ Φ i p a t i x t - 1, ϕ t i ︸ a g e n t c o n t r o l l e r p ϕ t i x t - 1 ︸ n e w d r i v e r m o d e l

（35）

式中

p a t i x t - 1

反映了第

i

个交通参与者的决策行为映射为高级别的语义级行为的过程。

与之前MPDM和EPSILON类似，为对动作空间进行剪枝，本文利用预定义的语义级动作来定义决策空间，从而将自车行为转化为有限数量内预定义的决策策略。

在EPSILON的基础上，本文中所提出的方法在生成自车决策策略时通过基于复杂网络建模的风险权重阈值对构建的自车决策树进一步剪枝，提升算法效率及安全性，如图6所示。循环周期1中向右转向的风险权重超出了设定的阈值，因此在该周期自车不会生成右转向的语义级动作序列。每个语义级行为动作序列持续时间设置为1 s，决策树的深度设置为5，一个规划周期的时间步长为5 s。

1.4.2 前向仿真

当确定了自车的决策树后，下一个问题是如何确定其他交通参与者的语义级决策行为。驾驶场景内的意图组合将随着交通参与者的数量呈指数级增长，因此直接将所有交通参与者的全部意图组合进行仿真模拟，将使算法难以求解。

为解决这一问题，EPSILON算法主要关注自车附近交通参与者的行为意图，同时考虑人类驾驶员的驾驶习惯来挑选潜在的风险场景，对决策空间进行剪枝。然而驾驶环境当中，交通参与者之间的冲突风险体现出相互关联的群体特性，这种简单的筛选方法往往很难挑选出真正需要关注的关键车辆节点。因此利用基于复杂网络的建模方法对驾驶环境进行抽象，提取真正须关注的重要车辆节点序列，然后将其中预测模块输出的多种意图（多条候选的车道中心线）概率彼此接近的车辆作为具有不确定性因素的车辆。将不确定性车辆与自车行为序列的意图组合形成一个个仿真场景进行多智能体的前向闭环仿真模拟，同时引入智能驾驶员模型（IDM）^[34]和纯跟踪控制模型^[35]来平衡仿真过程中的精确度和效率。

由于行为决策层耦合了预测模块，在仿真模拟过程中，可以通过使用驾驶员模型

p a t i x t - 1

和状态概率转移函数

T

使每个交通参与者根据其他交通参与者的最新状态来更新自身状态，仿真模拟的频率设置为50 Hz。

对每个进行前向闭环仿真模拟的场景进行评估，用于挑选最佳策略。对于每个决策策略的总奖励由上一步中选定的每个场景获得的奖励加权和确定，每个场景的奖励函数由包含效率（评估自车当前速度、自车期望速度和目标车道前车速度三者之间的差值）、安全（检查是否发生碰撞并引入责任敏感安全模型RSS对cost进行惩罚）和一致性（评估上一时间步长最佳策略与待评估策略之间的差值）的综合cost函数确定。

2 实验设计

收起

2.1 仿真环境搭建

所采用的实验平台搭载了一块RTX 3070 GPU和一块AMD R7 CPU的笔记本电脑，实验环境为Ubuntu18.04，算法采用C++11实现，并依托ROS搭建仿真环境进行仿真模拟。将车辆设置为ROS中的节点，通过话题通信的方式接发车辆节点的位姿、速度等信息，模拟道路为双向四车道的高速公路，并通过匝道口模拟车道合流的场景。此外可以实现人为控制各车辆节点的转向、加减速，模拟自车在突发情况和不确定环境下的决策行为，并通过rviz实现仿真场景的可视化。

2.2 对比实验

为分析所提出方法的有效性，将其与其他方法进行对比实验。EPSILON为目前基于POMDP的自动驾驶行为决策中最先进的方法，因此本文在相同的场景下对两种算法进行了仿真实验。

2.2.1 算法运算效率分析

首先对两种算法的运算效率进行分析，通过改变自车周围车辆的数量，对比了5组不同场景下两种方法的运算效率，并对每种场景20次仿真实验中15 s内的平均运算速度进行了统计分析。仿真过程中除自车外的其他车辆均采用定速巡航模式，两种算法在完全相同的实验环境中进行，以保证实验结果的可靠性。

实验结果如图7所示。可以看出两种方法的计算效率随着自车周围车辆数的增加而降低，但本文所提出的方法相对于EPSILON算法计算效率有较大提升，且随着场景复杂度的增加，所提方法的运算速度优势越明显，当自车周围车辆数增加到15辆时，本文所提出的方法仍然能保持20 Hz以上的运行频率，能更好满足实时性的要求。

2.2.2 算法性能分析

为评估所提出的方法在运算效率提升的同时，是否仍然能够保证算法的性能，在相同的实验场景下对两种算法的性能进行了对比分析。实验场景中自车周围车辆的数量均为10辆。

实验结果如图8所示，其中上4幅图A—D为EPSILON做出的决策行为，下4幅图A—D为本文所提方法做出的决策行为。可以看出EPSILON算法的自车面对多车场景，会选择保守的车道保持策略，而本文所提出的方法由于可以更精准地识别场景中的风险车辆，会伺机选择更为灵活的换道超车策略。通过统计分析20次仿真实验中15 s内自车的行驶速度和舒适度来定量分析算法的性能，其中舒适度为15 s内每一帧加速度变化的绝对值，加速度变化越小，则表示舒适度越高，实验结果如表1所示。

由于本文所提出的算法排除了非风险车辆对自车决策行为的影响，使自车偏向于选择更加稳定、高效的决策行为，从而拥有更高的行驶速度和舒适度。

3 结论

收起

提出一种不确定性环境下自动驾驶汽车行为决策方法。首先引入复杂网络理论对驾驶环境进行抽象，识别重要车辆节点，对决策空间进行剪枝；并在此基础上将自车的行为决策转化为POMDP过程，实现不确定性环境下的行为决策；最后在仿真场景下评估行为决策方法的性能。结果表明所提方法在复杂的场景下拥有更高的运算速度，且拥有更好的性能和灵活性。

基金

收起

^*国家重点研发计划(2022YFB2503302)
国家自然科学基金(52225212)
江苏省重点研发项目(BE2020083-3)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

SCHWARTING W，ALONSO-MORA J，RUS D. Planning and decision-making for autonomous vehicles[J]. Annual Review of Control，Robotics，and Autonomous Systems，2018，1（1）： 187-210.

[2]

LIKMETA A，METELLI A M，TIRINZONI A，et al. Combining reinforcement learning with rule-based controllers for transparent and general decision-making in autonomous driving[J]. Robotics and Autonomous Systems，2020，131： 103568.

[3]

ZHAO L，ICHISE R，SASAKI Y，et al. Fast decision making using ontology-based knowledge base[C]. Proceedings of the 2016 IEEE Intelligent Vehicles Symposium （IV），F 19-22 June 2016.

[4]

VACEK S，GINDELE T，ZOLLNER J M，et al. Using case-based reasoning for autonomous vehicle guidance[C]. Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems，F 29 Oct.-2 Nov. 2007.

[5]

CHEN C，SEFF A，KORNHAUSER A，et al. DeepDriving： learning affordance for direct perception in autonomous driving[C]. Proceedings of the 2015 IEEE International Conference on Computer Vision （ICCV），F 7-13 Dec. 2015.

[6]

DESJARDINS C，CHAIB-DRAA B. Cooperative adaptive cruise control： a reinforcement learning approach[J]. IEEE Transactions on Intelligent Transportation Systems，2011，12（4）： 1248-1260.

[7]

SHU H，LIU T，MU X，et al. Driving tasks transfer using deep reinforcement learning for decision-making of autonomous vehicles in unsignalized intersection[J]. IEEE Transactions on Vehicular Technology，2022，71（1）： 41-52.

[8]

MNIH V，KAVUKCUOGLU K，SILVER D，et al. Human-level control through deep reinforcement learning[J]. Nature，2015，518（7540）： 529-533.

[9]

VITELLI M，NAYEBI A. Carma： a deep reinforcement learning approach to autonomous driving[D]. Tech Rep Stanford University，Tech Rep，2016.

[10]

FU Y，LI C，YU F R，et al. Hybrid autonomous driving guidance strategy combining deep reinforcement learning and expert system[J]. IEEE Transactions on Intelligent Transportation Systems，2022，23（8）： 11273-11286.

[11]

KAELBLING L P，LITTMAN M L，CASSANDRA A R. Planning and acting in partially observable stochastic domains[J]. Artificial Intelligence，1998，101（1）： 99-134.

[12]

CAI P，LUO Y，HSU D，et al. HyP-DESPOT： a hybrid parallel algorithm for online planning under uncertainty[J]. The International Journal of Robotics Research，2021，40（2-3）： 558-573.

[13]

SILVER D，VENESS J. Monte-Carlo planning in large POMDPs[J]. Advances in Neural Information Processing Systems，2010，23.

[14]

YE N，SOMANI A，HSU D，et al. DESPOT： online POMDP planning with regularization[J]. Journal of Artificial Intelligence Research，2017，58： 231-266.

[15]

KURNIAWATI H，YADAV V. An online POMDP solver for uncertainty planning in dynamic environment[M]. Robotics Research. Springer，2016： 611-629.

[16]

HUBMANN C，SCHULZ J，XU G，et al. A belief state planner for interactive merge maneuvers in congested traffic[C]. Proceedings of the 2018 21st International Conference on Intelligent Transportation Systems （ITSC），F 4-7 Nov. 2018.

[17]

BAI H，CAI S，YE N，et al. Intention-aware online POMDP planning for autonomous driving in a crowd[C]. Proceedings of the 2015 IEEE International Conference on Robotics and Automation （ICRA），F 26-30 May 2015.

[18]

HUBMANN C，BECKER M，ALTHOFF D，et al. Decision making for autonomous driving considering interaction and uncertain prediction of surrounding vehicles[C]. Proceedings of the 2017 IEEE Intelligent Vehicles Symposium （IV），F 11-14 June 2017.

[19]

HUBMANN C，SCHULZ J，BECKER M，et al. Automated driving in uncertain environments： planning with interaction and uncertain maneuver prediction[J]. IEEE Transactions on Intelligent Vehicles，2018，3（1）： 5-17.

[20]

GALCERAN E，CUNNINGHAM A G，EUSTICE R M，et al. Multipolicy decision-making for autonomous driving via changepoint-based behavior prediction： theory and experiment[J]. Autonomous Robots，2017，41（6）： 1367-1382.

[21]

CUNNINGHAM A G，GALCERAN E，EUSTICE R M，et al. MPDM： multipolicy decision-making in dynamic，uncertain environments for autonomous driving[C]. Proceedings of the 2015 IEEE International Conference on Robotics and Automation （ICRA），F 26-30 May 2015.

[22]

NISHI T，DOSHI P，PROKHOROV D. Merging in congested freeway traffic using multipolicy decision making and passive actor-critic learning[J]. IEEE Transactions on Intelligent Vehicles，2019，4（2）： 287-297.

[23]

DING W，ZHANG L，CHEN J，et al. EPSILON： an efficient planning system for automated vehicles in highly interactive environments[J]. IEEE Transactions on Robotics，2022，38（2）： 1118-1138.

[24]

ZHANG L，DING W，CHEN J，et al. Efficient uncertainty-aware decision-making for automated driving using guided branching[C]. Proceedings of the 2020 IEEE International Conference on Robotics and Automation （ICRA），F 31 May-31 Aug. 2020.

[25]

WATTS D J，STROGATZ S H. Collective dynamics of ‘small-world’networks[J]. Nature，1998，393（6684）： 440-442.

[26]

BOCCALETTI S，LATORA V，MORENO Y，et al. Complex networks： structure and dynamics[J]. Physics Reports，2006，424（4-5）： 175-308.

[27]

LIU Y Y，SLOTINE J J，BARABáSI A L. Controllability of complex networks[J]. Nature，2011，473（7346）： 167-173.

[28]

YUAN Z，ZHAO C，DI Z，et al. Exact controllability of complex networks[J]. Nature Communications，2013，4（1）： 2447.

[29]

BAGGIO G，BASSETT D S，PASQUALETTI F. Data-driven control of complex networks[J]. Nature Communications，2021，12（1）： 1429.

[30]

LI A，CORNELIUS S P，LIU Y Y，et al. The fundamental advantages of temporal networks[J]. Science，2017，358（6366）： 1042-1046.

[31]

UNICOMB S，IñIGUEZ G，GLEESON J P，et al. Dynamics of cascades on burstiness-controlled temporal networks[J]. Nature Communications，2021，12（1）： 133.

[32]

STROGATZ S H. Exploring complex networks[J]. Nature，2001，410（6825）： 268-276.

[33]

ZOU Y，DONNER R V，MARWAN N，et al. Complex network approaches to nonlinear time series analysis[J]. Physics Reports，2019，787：1-97.

[34]

TREIBER M，KESTING A. Traffic flow dynamics[J]. Traffic Flow Dynamics： Data，Models Simulation，Springer-Verlag Berlin Heidelberg，2013，983-1000.

[35]

COULTER R C. Implementation of the pure pursuit path tracking algorithm[M]. Carnegie Mellon University，The Robotics Institute，1992.

2024年第46卷第2期

PDF下载

351

145

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2024.02.003

接收时间：2023-05-12
首发时间：2025-07-20
出版时间：2024-02-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-05-12
修回日期：2023-07-31

基金

^*国家重点研发计划(2022YFB2503302)

国家自然科学基金(52225212)

江苏省重点研发项目(BE2020083-3)

作者信息

^1. 江苏大学汽车工程研究院，镇江 212013

^2. 江苏大学汽车与交通工程学院，镇江 212013

通讯作者:

蔡英凤，教授，博士，Email：caicaixiao0304@126.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2024.02.003

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT