汽车工程

Q-learning算法
1	初始化 $q (s, a)$
2	while （ $π (s) = a r g m a x a q (s, a)$ ）
3	｛选择初始状态s₀，参考ε-greedy策略在状态 $s 0$ 处执行动作 $a 0$ ；
4	while （ $s t = s T$ ）
5	｛（1）参考ε-greedy策略在状态 $s t$ 处的执行动作 $a t$ ，获取奖励 $r t$ 和下一时刻状态 $s t + 1$ ；
6	（2） $q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))$ ；
7	（3） $s t = s t + 1$ ；｝｝
8	最优换道策略 $π (s) = a r g m a x a q (s, a)$

Q-learning算法

初始化

q (s, a)

while （

π (s) = a r g m a x a q (s, a)

）

｛选择初始状态s₀，参考ε-greedy策略在状态

s 0

处执行动作

a 0

；

while （

s t = s T

）

｛（1）参考ε-greedy策略在状态

s t

处的执行动作

a t

，获取奖励

r t

和下一时刻状态

s t + 1

；

（2）

q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))

；

（3）

s t = s t + 1

；｝｝

最优换道策略

π (s) = a r g m a x a q (s, a)

Q-learning算法
1	初始化 $q (s, a)$
2	while （ $π (s) = a r g m a x a q (s, a)$ ）
3	｛选择初始状态s₀，参考ε-greedy策略在状态 $s 0$ 处执行动作 $a 0$ ；
4	while （ $s t = s T$ ）
5	｛（1）参考ε-greedy策略在状态 $s t$ 处的执行动作 $a t$ ，获取奖励 $r t$ 和下一时刻状态 $s t + 1$ ；
6	（2） $q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))$ ；
7	（3） $s t = s t + 1$ ；｝｝
8	最优换道策略 $π (s) = a r g m a x a q (s, a)$

Q-learning算法

初始化

q (s, a)

while （

π (s) = a r g m a x a q (s, a)

）

｛选择初始状态s₀，参考ε-greedy策略在状态

s 0

处执行动作

a 0

；

while （

s t = s T

）

｛（1）参考ε-greedy策略在状态

s t

处的执行动作

a t

，获取奖励

r t

和下一时刻状态

s t + 1

；

（2）

q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))

；

（3）

s t = s t + 1

；｝｝

最优换道策略

π (s) = a r g m a x a q (s, a)

参数	设定值
权重系数w₁	100
权重系数w₂	50
权重系数w₃	10
权重系数w₄	200
权重系数w₅	1
权重系数w₆	5
权重系数w₇	50

参数

设定值

权重系数w₁

100

权重系数w₂

权重系数w₃

权重系数w₄

200

权重系数w₅

权重系数w₆

权重系数w₇

参数	设定值
权重系数w₁	100
权重系数w₂	50
权重系数w₃	10
权重系数w₄	200
权重系数w₅	1
权重系数w₆	5
权重系数w₇	50

参数

设定值

权重系数w₁

100

权重系数w₂

权重系数w₃

权重系数w₄

200

权重系数w₅

权重系数w₆

权重系数w₇

饱和度为0.6/0.8/1.0	基准仿真控制方法	GPPA	本文方法
平均值/s	84.58/96.91/125.81	79.30/90.22/116.40	77.24/88.15/113.69
标准差	9.77/12.81/16.53	6.59/8.30/13.33	4.07/6.66/10.19
收益/%	0.00/0.00/0.00	6.24/6.90/7.48	8.68/9.04/6.63

饱和度为0.6/0.8/1.0

基准仿真控制方法

GPPA

本文方法

平均值/s

84.58/96.91/125.81

79.30/90.22/116.40

77.24/88.15/113.69

标准差

9.77/12.81/16.53

6.59/8.30/13.33

4.07/6.66/10.19

收益/%

0.00/0.00/0.00

6.24/6.90/7.48

8.68/9.04/6.63

饱和度为0.6/0.8/1.0	基准仿真控制方法	GPPA	本文方法
平均值/s	84.58/96.91/125.81	79.30/90.22/116.40	77.24/88.15/113.69
标准差	9.77/12.81/16.53	6.59/8.30/13.33	4.07/6.66/10.19
收益/%	0.00/0.00/0.00	6.24/6.90/7.48	8.68/9.04/6.63

饱和度为0.6/0.8/1.0

基准仿真控制方法

GPPA

本文方法

平均值/s

84.58/96.91/125.81

79.30/90.22/116.40

77.24/88.15/113.69

标准差

9.77/12.81/16.53

6.59/8.30/13.33

4.07/6.66/10.19

收益/%

0.00/0.00/0.00

6.24/6.90/7.48

8.68/9.04/6.63

面向城市道路的智能网联汽车多车道轨迹优化方法^*

PDF下载

王庞伟 ¹ , 刘程 ¹ , 汪云峰 ² , 张名芳 ¹

汽车工程 | 专题：汽车智能化关键技术 2024,46(2): 241-252

收起

汽车工程 | 专题：汽车智能化关键技术 2024, 46(2): 241-252

面向城市道路的智能网联汽车多车道轨迹优化方法^*

全屏

王庞伟¹, 刘程¹, 汪云峰², 张名芳¹

作者信息

^1. 北方工业大学，城市道路交通智能控制技术北京市重点实验室，北京 100144

^2. 交通运输部公路科学研究院，运输车辆运行安全技术交通行业重点实验室，北京 100088

通讯作者:

汪云峰，助理研究员，E-mail：wang.yf@rioh.cn。

Multi-lane Trajectory Optimization for Intelligent Connected Vehicles in Urban Road Network

Pangwei Wang¹, Cheng Liu¹, Yunfeng Wang², Mingfang Zhang¹

Affiliations

^1. North China University of Technology，Beijing Key Lab of Urban Intelligent Traffic Control Technology，Beijing 100144

^2. Research Institute of Highway Ministry of Transport，Key Laboratory of Operation Safety Technology on Transport Vehicles，Beijing 100088

出版时间: 2024-02-25 doi: 10.19562/j.chinasae.qcgc.2024.02.006

文章导航

摘要

收起

为提高城市路网下智能网联汽车的通行效率以及燃油效率，提出面向城市道路的多车道时空轨迹优化方法。首先，结合多车道时空位置关系定义智能网联汽车状态与约束，综合考虑通行效率与燃油经济性构建时空轨迹复合优化模型，并采用庞特里亚金极大值算法进行求解。然后，本文设定协同换道的规则，并通过Q-learning算法获取最优的换道策略。最后，通过SUMO/Python联合仿真验证了该方法可以在不同车辆饱和程度、绿信比状态及最低通行速度条件下有效提高通行效率，且燃油效率得到明显改善。

关键词

智能网联汽车 / 多车道轨迹优化 / Q-学习 / 城市交通网络 / SUMO/Python联合仿真

Abstract

收起

In order to improve the traffic efficiency and fuel utilization efficiency of intelligent connected vehicles （ICVs） under urban traffic networks，a multilane spatiotemporal trajectory optimization method is proposed in this paper. Firstly，the state and constraints of the ICVs are defined based on the multi-lane spatiotemporal position relationship and the compound optimization model of spatiotemporal trajectory is constructed by considering the traffic efficiency and fuel economy，which is solved by the Pontryagin Maximum algorithm. Furthermore，the rules of cooperative lane change are designed to obtain the optimal lane change strategy by Q-learning algorithm. Finally，the SUMO/Python co-simulation tests show that the method can effectively improve the traffic efficiency under different vehicle saturation levels，split allocation，and minimum traffic speed conditions，with great improvement of fuel efficiency.

Key words

intelligent connected vehicles / multi-lane trajectory optimization / Q-learning / urban traffic network / SUMO/Python co-simulation

引用本文

王庞伟, 刘程, 汪云峰, 张名芳. 面向城市道路的智能网联汽车多车道轨迹优化方法^*. 汽车工程, 2024 , 46 (2) : 241 -252 . DOI: 10.19562/j.chinasae.qcgc.2024.02.006

Pangwei Wang, Cheng Liu, Yunfeng Wang, Mingfang Zhang. Multi-lane Trajectory Optimization for Intelligent Connected Vehicles in Urban Road Network[J]. Automotive Engineering, 2024 , 46 (2) : 241 -252 . DOI: 10.19562/j.chinasae.qcgc.2024.02.006

正文

收起

前言

收起

随着社会经济的快速发展，人们对于道路机动化水平的需求逐步提高。机动车保有量依然处于上升态势^[1-2]，导致了一系列交通拥堵以及环境污染等问题。因此，提高路网通行效率、降低交通碳排放对于城市交通以及社会的可持续发展具有重要意义^[3-6]。在此背景下，城市道路环境内智能网联汽车（intelligent connected vehicle，ICV）轨迹生成与时空轨迹优化^[7-10]成为智能交通领域的热点。

随着智能交通系统（intelligent transportation system，ITS）的发展，从微观ICV的角度实现时空轨迹优化已成为现实。以动态速度协调为基础时空轨迹优化^[11-14]具有高效、安全、稳定等优点。随着车路协同系统（cooperative vehicle infrastructure system，CVIS）和ICV的发展，连续动态速度控制可以解决不连续动态限速问题^[15]。Wei等^[16]利用简化的Newell线性车辆跟驰模型进行协同控制，为多车协同优化提供了一种新的思路。但多车道的时空轨迹优化研究还较缺乏，同时碳排放问题日益突出^[17]，故将影响碳排放的燃油效率指标纳入时空轨迹优化模型具有重要意义，而多车道时空轨迹优化的主要挑战在于如何解决其复杂的换道问题^[18]。Li等^[19]为网联汽车提出了一种基于安全势场理论的换道模型，评估了换道过程中的临界车距，动态地给出了不同速度和加速度条件下的车辆运动状态，最后通过时空轨迹的选择来确定换道路线，为基于时空轨迹的多车协同换道提供了思路和理论支持。然而，多车道时空轨迹优化问题仍具有数据计算量大^[20-22]、多智能体难以协同控制等问题。

随着网联技术的不断发展，信息的获取已不再是关键难点，轨迹生成方案与时空轨迹优化方案逐渐成熟，衍生出“两步走”的多车道时空轨迹优化模式。以轨迹生成结果为基础实现时空轨迹优化可以减少计算量，提升路网整体优化效果^[23]，但现有的针对路网整体的方案与针对车辆局部的规划方案耦合性较差^[24]，导致了资源利用不充分，兼顾环保与通行效率的方案还存在一定的改进空间。

因此，本文结合智能网联汽车数据上报准确、控制精度高等优势，提出面向城市道路的智能网联汽车多车道轨迹优化方法。在方法上充分考虑轨迹生成和轨迹优化相耦合的复合优化模式，定义了智能网联汽车系统状态向量、系统成本函数、车辆行驶状态约束，构建基于固定和可变成本的目标函数，并基于庞特里亚金极大值原理求解该目标函数。针对V2X多车道环境，设计多车道的协同换道规则，基于强化学习Q-learning获取多车道环境下智能网联汽车的最优时空轨迹。最后，基于SUMO/Python联合仿真平台，从通行高效性以及环保经济性两方面开展联合仿真实验。

1 轨迹优化场景设计与方法框架

收起

本文提出的多车道轨迹优化方法面向具备多类型交叉口、多类型渠化、多类型配时的城市道路场景，适用于具备V2X通信能力的智能网联汽车，具备一定的通用性。以3×3的“九宫格”城市路网为例，搭建轨迹优化方法应用场景，如图1所示。

以单车为例讨论轨迹优化方法的设计与实现，该方法以轨迹生成为前提实现多车道时空轨迹优化，其结构如图2所示。

2 智能网联汽车多车道轨迹优化方法

收起

2.1 车辆系统状态向量与约束构建

定义车辆行驶方向由路段外向内的第m车道驶入路段的第

n

辆车编号为

C m n

，状态为

x m n (t)

，如式（1）所示，初始状态如式（2）所示。

x m n t = x m n t, y m n (t), v m n t, v m n ′ (t) T

（1）

x m n (t m n 0) = (x m n (t m n 0), y m n (t m n 0), v m n (t m n 0), v m n ′ (t m n 0)) T =

(0, d · (m - 12), v m n 0, v m n 0 ′) T

（2）

式中：

x m n (t)

、

y m n (t)

为车辆

C m n

在

t

时刻相对于交叉口的坐标；

v m n (t)

为车辆

C m n

在

t

时刻的行驶速率；

v m n ′ (t)

为车辆

C m n

在

t

时刻的横向速率。

时空轨迹生成的输入为车辆

C m n

在

t

时刻的加速度

u m n (t)

，如式（3）所示。

u m n t = u m n t, u m n ′ t T

（3）

式中：

u m n (t)

为车辆

C m n

在

t

时刻的纵向加速度；

u m n ′ (t)

为车辆

C m n

在

t

时刻的横向加速度。

定义车辆目标车道信号配时信息

φ m n (t)

以及相邻车道

m + 1

、

m - 1

的交通流信息

I m + 1 (t)

、

I m - 1 (t)

，如式（4）~式（6）所示。

φ m n (t) = φ m n (t), t φ m n (t), R m, G m

（4）

I m + 1 (t) = v ¯ m + 1 (t), k m + 1 (t)

（5）

I m - 1 (t) = v ¯ m - 1 (t), k m - 1 (t)

（6）

式中：

φ m n (t)

为当前时刻相位状态；

t φ m n (t)

为

φ m n (t)

相位剩余时间；

R m

为车道

m

对应的红灯时长；G_m 为车道

m

对应的绿灯时长；

v ¯ m + 1 (t)

、

v ¯ m - 1 (t)

分别为车道

m + 1

、

m - 1

的平均流速，如式（7）所示；

k m + 1 (t)

、

k m - 1 (t)

分别为车道

m + 1

、

m - 1

的平均交通流密度，如式（8）所示。

v ¯ m (t) = ∑ i = C m m i n C m m a x v m i C m m a x - C m m i n + 1

（7）

k m (t) = C m m a x - C m m i n + 1 L

（8）

式中：

N m m a x

为车道

m

内车辆编号中最大编号；

N m m i n

为车道

m

内车辆编号中最小编号；

L

为路段长度。

因此，考虑上文对车辆各状态的描述，定义车辆系统状态如式（9）所示。

S t = f (x m n t, u m n t, φ m n t, I m + 1 t, I m - 1 t)

（9）

为保证各交叉口内车流的稳定以及高通过性，定义如下5类约束条件。

（1）车间距约束

对于车道

m

上的车辆

C m n

都应与其前方车辆

C m (n - 1)

保持一定量的空间位移和时间位移^[25]。同时，为保证行车安全，车辆换道时的横向换道距离不得大于一个车道宽度，如式（10）所示。

x m n (t + τ m n) ≤ x m (n - 1) (t + τ m n) - d m n 0 < y < d

（10）

式中：

τ m n

表示车辆

C m n

与前方车辆

C m (n - 1)

的时间位移，如式（11）所示；

d m n

表示车辆

C m n

与前方车辆

C m (n - 1)

的空间位移，如式（12）所示；

y

表示横向换道距离；

d

表示车道宽度，本文设置道路宽度为3.5 m。

τ m n = x m (n - 1) (t) - x m n (t) - l m (n - 1) v m n (t)

（11）

d m n = x m (n - 1) (t) - x m n (t) - l m (n - 1)

（12）

式中

l m (n - 1)

为前方车辆

C m (n - 1)

的车身长度。以智能网联汽车速度为60 km/h的速度行驶时，最小安全距离为10 m。

（2）速度与加速度约束

为保证路段内车辆行驶过程的安全，对路段内车辆进行速度约束，如式（13）所示。对于纵向速度约束，即车流方向约束，其最大速度为当前路段内最高限速，最小速度设置为0^[26]。

v m a x = - 2 a i d e c c Δ x 0 ≤ v m n (t) ≤ m a x {v 0 l i m, v m a x, 60} α - m a x ≤ α (t) ≤ α m a x v 0 l i m ⋅ α - m a x ≤ v m n ′ (t) ≤ v 0 l i m ⋅ α m a x

（13）

式中：

v m n (t)

表示智能网联汽车的速度；

v 0 l i m

表示当前路段内最高限速；

v m a x

为依据前车减速度和传感器探测距离推算的自车最大纵向速度；

a i d e c c

表示前车纵向减速度；

Δ x

表示传感器最小探测距离；

α - m a x

表示车辆前轮能向左侧转向的最大角度；

α (t)

表示当前车辆前轮的转向角度；

α m a x

表示车辆前轮能向右侧转向的最大角度；

v m n ′ (t)

表示智能网联汽车横向速度。

为保证车辆加速过程中发动机可以提供足够的动力，以及在制动过程中刹车片可以给车辆足够的动力限制，对横纵向加速度做出约束。在保证行车安全稳定和舒适性的基础上，为进一步提高换道效率，对横向加速度做出约束，区分不同道路附着系数^[27]下的横向加速度范围，优化智能网联汽车状态，横纵向加速度约束如式（14）所示。

u - m a x ≤ u m n ′ (t) ≤ (0.22 - 0.005 v m n (t)) g, μ ≤ 0.2 u - m a x ≤ u m n ′ (t) ≤ 0.5 μ g, 0.2 < μ ≤ 0.5 u - m a x ≤ u m n ′ (t) ≤ 0.67 μ g, μ > 0.5

（14）

式中：

μ

表示路面附着系数；

g

表示重力加速度；

u - m a x

表示车辆最大纵向制动的加速度；

u m a x

表示车辆最大纵向行驶的加速度；

u - m a x ′

表示车辆向左侧横向施加的最大加速度；

u m a x ′

表示车辆向右侧横向施加的最大加速度。

（3）横纵向冲击约束

为消除加速度变化过快而对车辆行驶过程造成的负面影响，定义如式（15）所示的冲击约束。

j - m a x ≤ ∂ u m n t ∂ t ≤ m i n {10, j m a x} j - m a x ′ ≤ ∂ u m n ′ t ∂ t ≤ m i n {10, j m a x ′}

（15）

式中：

j - m a x

、

j m a x

表示车辆减速、加速时纵向最大冲击；

j - m a x ′

、

j m a x ′

表示车辆横向向左、向右最大冲击。本文考虑左、右向最大冲击为10 m/s³。

（4）红灯信号配时约束

智能网联汽车行驶应满足信号交叉口通行规则，其速度应符合信号配时约束，如式（16）所示。

v m n (t m n o u t) = 0, t m n o u t ∉ ξ m

（16）

式中

ξ m

为车道

m

的绿灯时段集合。

（5）通信约束

V2X通信存在一定的通信时延和丢包等，影响智能网联汽车的稳定性和安全性。因此，对时延和丢包进行约束，如式（17）和式（18）所示。

τ ˜ m n (t) < 0.1

（17）

P l p m n (t) < 15 %

（18）

式中：

τ ˜ m n (t)

表示车辆

C m n

在

t

时刻的时延情况；

P l p m n (t)

表示车辆

C m n

在

t

时刻的丢包率。

2.2 时空轨迹目标函数的构建与求解

考虑固定成本与可变成本构建目标函数，并基于庞特里亚金极大值原理求解得到当前车辆系统状态向量，进而得到当前路网下每个智能网联汽车的运动状态。

2.2.1 基于动态成本的目标函数构建

为保证单交叉口车流具有更高的通过性，且提高车辆的燃油消耗效率，考虑固定成本和可变成本，定义目标函数为

J = g (x m n (t m n o u t)) + ∫ t m n 0 t m n o u t h (x m n (t), u m n (t)) d t

（19）

式中：

t m n o u t

是车辆

C m n

驶出路段的时刻；

t m n 0

是车辆

C m n

驶入路段的时刻；

g (x m n (t m n o u t))

是该过程的固定成本；

∫ t m n 0 t m n o u t h (x m n (t), u m n (t)) d t

是该过程的可变成本。

（1）固定成本

固定成本函数可由式（20）表示。

g (x m n (t m n o u t)) = w 1 · (t m n o u t - t ¯ m n o u t) 2 + w 2 · (x m n (t m n o u t) - L) 2 + w 3 · (v m n (t m n o u t) - v ¯ m n o u t) 2 +

w 4 (y m n (t m n o u t) - d · (m ¯ - 12)) 2

（20）

式中：

v ¯ m n o u t

为车辆

C m n

驶出路段的期望速度；

m ¯

为目标车道；

w 1

为路段行驶时间的权重系数；

w 2

为路段行驶长度的权重系数；

w 3

为驶出路段下游出口时期望速度的权重系数；

w 4

为从目标车道驶出的权重系数。车辆在低密度车流状态下快速通过路口的时间即车辆

C m n

无限制自由驶出路段的时间

t ¯ m n f r e e

可由式（21）计算得出。

t ¯ m n f r e e = t m n 0 + L - (((v 0 l i m) 2 - v m n (t m n 0) 2) / 2 u m n + m a x) v 0 l i m - (((v 0 l i m) 2 - (v m l i m) 2) / 2 u m n - m a x) v 0 l i m +

v 0 l i m - v m n (t m n 0) u m n + m a x + v 0 l i m - v m l i m u m n - m a x

（21）

式中：

v 0 l i m

为车辆在该路段自由行驶区域的限速；

v m l i m

为车辆在

m

车道下游出口处限速；

u m n + m a x

为车辆

C m n

在

m

路段最大加速度；

u m n - m a x

为车辆

C m n

在

m

路段最大减速度。

为提高网联汽车在交叉口的通行率，车辆

C m n

驶出路段的目标时刻

t m n o u t

控制在可通行的绿灯信号内，可由式（22）选择得出。

t ¯ m n o u t = t ¯ m n t e m p, t ¯ m n t e m p ∈ ξ m f l o o r (t ¯ m n t e m p R m + G m) · (R m + G m) + R m, t ¯ m n t e m p ∉ ξ m

（22）

式中：

t ¯ m n t e m p

为车辆

C m n

驶出路段的候选时刻；

ξ m

为车道

m

的绿灯时段集合；

f l o o r (t)

为向下取整函数。

车辆

C m n

驶出路段的候选时刻

t ¯ m n t e m p

可由式（23）计算得出。

t ¯ m n t e m p = m a x (t ¯ m (n - 1) o u t + t m h 2 h, t ¯ m n f r e e)

（23）

式中

t m h 2 h

为路段下游出口处

m

车道相邻两车最小车头时距。

（2）可变成本

本文基于VT-Micro模型^[28]建立可变成本，减少燃油消耗，如式（24）表示。

h (x m n (t), u m n (t)) = w 5 · (u m n (t) 2 + 2 u m n (t) · v m n (t)) · χ (u m n (t)) + w 6 · (u m n ′ (t) 2 + 2 u m n ′ (t) · v m n ′ (t)) +

w 7 g ¯ m n

（24）

式中：

w 5

为车辆纵向加速度导致的能量变化的权重系数；

w 6

为车辆横向加速度导致的能量变化的权重系数；

w 7

为燃油消耗的权重系数，其中

w 5, w 6, w 7 ∈ R +

；

χ (u m n (t))

是网联汽车纵向加速度的Heaviside函数，可以此分离纵向减速过程中加速度对可变成本造成的影响，由式（25）得到；

g ¯ m n

为路段平均燃油消耗率（mL/m），如式（26）所示。

χ (u m n (t)) = 0, u m n (t) ≤ 0 1, u m n (t) > 0

（25）

g ¯ m n = g m n (t) v m n (t)

（26）

式中

g m n (t)

为车辆

C m n

在

t

时刻的瞬时燃油消耗率。

考虑到车辆的瞬时燃油消耗率是当前造成污染环境的重要因素，基于Akcelik等^[29]提出的模型进行微观燃油瞬时消耗系数的计算并加入目标函数中，该模型可由式（27）拟合计算求得。

g m n (t) = ∑ j = 0 3 α j f u e l v m n (t) j + β 1 f u e l v m n (t) u m n (t) +

β 2 f u e l v m n (t) u m n (t) 2 χ (u m n (t))

（27）

式中：

α j f u e l

、

β 1 f u e l

、

β 2 f u e l

为微观燃油瞬时消耗系数；

χ (u m n (t))

为Heaviside函数，如式（25）所示。

在计算过程中，通过VT-Micro模型可较为准确地帮助用户估计车辆瞬时燃油消耗和排放水平，有效性衡量标准（measure of effectiveness，MOE）可通过式（28）计算得出。

l n (M O E e (t)) = ∑ i = 0 3 ∑ j = 0 3 (L i, j e v m n (t) i u m n (t) j), ∀ u m n (t) ≥ 0 ∑ i = 0 3 ∑ j = 0 3 (M i, j e v m n (t) i u m n (t) j), ∀ u m n (t) < 0

（28）

式中：

L i, j f u e l

为加速过程中的系数矩阵；

M i, j f u e l

为减速过程中的系数矩阵。具体系数值如式（29）~式（32）所示。

L i, j f u e l = - 7.73452 0.02799 - 0.00022 1.09 × 10 - 6 0.22946 0.00680 - 4.40 × 10 - 5 4.80 × 10 - 8 - 0.00561 - 0.00077 7.90 × 10 - 7 3.27 × 10 - 8 9.77 × 10 - 5 8.28 × 10 - 6 8.17 × 10 - 7 - 7.79 × 10 - 9

（29）

$L_{i, j}^{\mathrm{CO}_{2}}=\left(\begin{array}{cccc} 6.91494 & 0.21730 & 0.0024 & -0.00036 \\ 0.02754 & 0.00968 & -0.00175 & 8.35 \times 10^{-5} \\ -0.00021 & -0.00011 & 1.97 \times 10^{-5} & -1.02 \times 10^{-6} \\ 9.80 \times 10^{-7} & 3.66 \times 10^{-7} & -1.08 \times 10^{-7} & 8.50 \times 10^{-9} \end{array}\right)$ （30）

$\boldsymbol{M}_{i, j}^{\text {fuel }}=\left(\begin{array}{cccc} -7.73452 & -0.01799 & -0.00427 & 0.00019 \\ 0.02804 & 0.00772 & -0.00837 & -3.40 \times 10^{-5} \\ -0.00022 & -5.20 \times 10^{-5} & -7.44 \times 10^{-6} & 2.77 \times 10^{-7} \\ 1.08 \times 10^{-6} & 2.47 \times 10^{-7} & 4.87 \times 10^{-8} & 3.79 \times 10^{-10} \end{array}\right)$ （31）

$\boldsymbol{M}_{i, j}^{\mathrm{CO}_{2}}=\left(\begin{array}{cccc} 6.91494 & 0.03203 & -0.00917 & -0.00036 \\ 0.02843 & 0.00853 & 0.00115 & -3.06 \times 10^{-6} \\ -0.00023 & -6.60 \times 10^{-5} & -1.30 \times 10^{-5} & 2.68 \times 10^{-7} \\ 1.11 \times 10^{-6} & 3.20 \times 10^{-7} & 7.56 \times 10^{-8} & 2.95 \times 10^{-9} \end{array}\right)$ （32）

式中：

i

表示矩阵的行数；

j

表示矩阵的列数。

为保证车辆通行的最大效率，定义车辆驶出的期望速度为驶出下游出口处限速，如式（33）所示。

v ¯ m n o u t = v m l i m

（33）

综上所述，可以推导得到时空轨迹优化的目标函数，如式（34）所示。

J = w 1 · (t m n o u t - t ¯ m n o u t) 2 + w 2 · (x m n (t m n o u t) - L) 2 + w 3 · (v m n (t m n o u t) - v m l i m) 2 + w 4 (y m n (t m n o u t) - d · (m ¯ - 12)) 2 +

∫ t m n 0 t m n o u t (w 5 · (u m n (t) 2 + 2 u m n (t) · v m n (t)) · χ (u m n (t)) + w 6 · (u m n ′ (t) 2 + 2 u m n ′ (t) · v m n ′ (t))) d t +

w 7 ∑ t = t m n 0 t m n o u t g m n (t) / v m n (t) t m n o u t - t m n 0

（34）

2.2.2 基于庞特里亚金极大值原理的目标函数求解

多车道轨迹优化问题可通过最大值原理进行求解。成本函数J的汉密尔顿函数如式（35）所示。

H (x, u, λ, t) = λ T · f (x, u, t) + h (x, u, t)

（35）

式中

λ

被定义为向量

x

的协状态向量，表示由向量

x

的微小变化

∂ x

导致的

J

的变化的额外成本。

在容许集合

U

内，成本函数的最小值优化输入

u *

则必须满足其汉密尔顿函数处在最小值状态，如式（36）所示，其必要条件如式（37）所示。

H (x *, u *, λ *, t) ≤ H (x *, u, λ *, t),

∀ u ∈ U, t ∈ t m n 0, t m n o u t

（36）

∂ H ∂ u = 0 ∂ H ∂ x = - λ ˙ ∂ H ∂ λ = x ˙

（37）

因此，多车道轨迹优化问题的汉密尔顿函数如式（38）所示。将式（38）代入式（37）可得出如式（39）所示的函数关系。

H m n = λ 1 · v m n (t) + λ 2 · u m n (t) + w 5 · (u m n (t) 2 +

2 u m n (t) · v m n (t)) · χ (u m n (t))

（38）

∂ H m n ∂ u m n = λ 2 + 2 w 5 · (u m n (t) + v m n (t)) = 0 ⇒ λ 2 = - 2 w 5 · (u m n (t) + v m n (t)) λ 1 · = ∂ H ∂ x m n = 0 ⇒ λ 1 = C λ 2 · = ∂ H ∂ v m n = λ 1 + 2 w 5 · u m n (t)

（39）

式中

C

为待定常数。

求解过程状态向量

λ

同时应满足固定成本

g (x m n (t m n o u t))

的条件，如式（40）所示。

λ (t m n o u t) = ∂ g (x m n (t m n o u t)) ∂ x m n

⇒ λ 1 (t m n o u t) = 2 w 2 · (x m n (t m n o u t) - L) λ 2 (t m n o u t) = 2 w 3 · (v m n (t m n o u t) - v ¯ m n o u t)

（40）

2.3 多车道时空轨迹优化

为便于描述车辆协同换道的相关过程，以发送换道请求的车辆为主视角，在路段内设置协同换道规则，如图3所示。其中，红色车辆为换道发起车辆，黄色车辆为主威胁车辆，橙色车辆为次威胁车辆，蓝色车辆为无威胁车辆。

已知编号为

C m n

的换道发起车辆的位置、速度等相关信息，结合目标车道信息分析

C m n

的换道环境。为提升时空轨迹优化的效率，本文基于强化学习获取协同换道策略。以车辆系统状态向量为输入，车辆加速度集合为强化学习的输出。该过程须满足马尔科夫性，如式（41）所示。

P s t + 1 s t = P s t + 1 s 1, s 2, s 3 . . . s t

（41）

式中

P

为各状态之间转移的概率矩阵。

定义五元组

(S, A, P, R, γ)

描述多车道时空轨迹优化过程。其中：

S

为包含智能网联汽车系统状态向量的集合；

A

为车辆优化输出的横向纵向加速度的集合；

P

为各状态转移矩阵的集合；

R

为协同换道过程的奖励函数集合，与成本函数

J

呈负线性关系；

γ

为计算值函数时

v π (s)

的折扣因子。对于一个固定的换道策略

π

，值函数时

v π (s)

可由式（42）计算得到。

v π (s) = E π ∑ k = 0 ∞ γ k R t + k + 1 S t = s

（42）

式中

E π

为累计回报值的数学期望。

对于每个执行动作

a

的价值，定义

q π (s, a)

为动作值函数，其计算过程如式（43）所示。

q π (s, a) = E π ∑ k = 0 ∞ γ k R t + k + 1 S t = s, A t = a

（43）

将式（41）所示的马尔可夫性代入到式（42）与式（43）中即可得到最优状态值函数

v * (s)

和最优动作值函数

q * (s)

的贝尔曼最优递归方程，如式（44）和式（45）所示。

v * (s) = m a x a R s a + γ ∑ s ′ ∈ S p s s ′ a v * (s ′

（44）

q π (s, a) = R s a + γ ∑ s ′ ∈ S p s s ′ a m a x a q * (s ′, a ′

（45）

式中：

s ′

和

a ′

分别为下一时刻的状态和动作；

p s s ′ a

为

s

时刻执行动作

a

到下一时刻

s ′

的概率。

基于上述函数，通过Q-learning算法计算得出当前效益最高情况下得到换道策略，其算法过程通过表1的伪代码所示，最优换道策略如式（46）所示。

π * (a s) = 1, a = a r g m a x a ∈ A q * (s, a) 0, 其他

（46）

表中第4行

s T

为终止状态；第3行和第5行所用的ε-greedy策略为增强算法的多样性探索能力，其具体公式如式（47）所示；第6行通过后继状态估计当前值函数对最优动作函数进行更新。

π (a s) = 1 - ε + ε N (a), a = a r g m a x a q (s, a) ε N (a), a ≠ a r g m a x a q (s, a)

（47）

式中：

N (a)

表示动作的总个数；ε-greedy表示以

1 - ε

的概率选取算法的最优动作，以

ε

的概率选取随机动作，以保证每个动作都有被选择的可能。

3 实验设计与分析

收起

3.1 实验场景与方法

为验证多车道轨迹优化方法的有效性和先进性，选取北京市昌平区某3×3城市道路路网作为仿真实验环境，如图4所示。仿真实验环境车道分布均匀，右转向车辆有独立车道完成向右转向行为，具有一定的代表性。

本文模型的应用须提前给定权重值，权重值的提升会增加与权重对应算式的优化效果，但本文涉及的多个权重无法实现同时达到最佳的优化效果。考虑到本文的核心目标是提高通行效率，在此基础之上能够尽可能有效地提升环保经济性。最终，本文实验参数的设置如表2所示。

3.2 实验结果与分析

设定起点为N01，终点为N43，应用时空轨迹优化方法的智能网联汽车在仿真环境中路径如图5（a）所示，三维时空轨迹图如图5（b）所示。

然后，以多车为例验证多车道时空轨迹优化方法的可行性，从3×3城市路网的SUMO仿真模型选取4个交叉口，如图6所示。以西向东方向的红色车辆为主视角观察可得，该车从最外侧车道企图在该相位绿灯时间内直行通过交叉口。在此过程中，该红色车辆与内侧车道的车辆完成交互。

最后，为验证本文提出的轨迹优化方法在响应时间上满足稳定性以及实时性的要求，在不同迭代时间步长和优化时间跨度下分析计算时间，如图7所示。

方法的平均计算时间与算法优化迭代步长呈负线性相关，与优化跨度呈线性相关，如图7所示。当优化迭代步长为0.2 s、优化跨度为50 s时，仿真实验中最大计算时间为0.94 s，小于1 s。同时，在整个仿真过程中，优化迭代步长均大于0.2 s、优化步长均小于50 s，证明该方法能满足实时的优化需求。

为验证本文算法的先进性，以SUMO软件原始的基准仿真控制方法为基准，与滑翔式应用（glidepath prototype application，GPPA）方法进行10次对比仿真实验，在通行高效性以及环保经济性两方面进行对比。

3.2.1 通行高效性分析

在不同饱和度的条件下对比不同的算法，并考虑最低速度限制和绿信比纵向分析多车道轨迹优化方法在平均吞吐量、平均通行时间及收益、车辆平均等待时间及收益等指标上的性能。饱和度为0.6以及1.0的条件下，平均交叉口智能网联汽车吞吐量及相对应的收益如图8所示。

饱和度为0.6时，本文方法最小收益为0.09%，仍保持正收益。当绿信比为0.25、最低车辆限速为8 m/s时，最大收益为1.46%。当绿信比为0.35、最低车辆限速为2 m/s时，系统在饱和度为1.0的情况下最小收益为-0.21%，虽然在该场景下为负收益，但是仍无明显影响交叉口吞吐量。当绿信比为0.35、最低车辆限速为8 m/s时，系统在饱和度为1.0的情况下最大收益为2.41%。

接下来本文将时空轨迹优化方法与不同算法横向对比，在不同饱和度与不同仿真控制方法下平均车辆的通行时间的平均值以及标准差如表3所示。随着车辆饱和度的增加，基准场景、GPPA优化方法以及本文提出的时空轨迹优化方法平均通行时间均有所增加。在不同的饱和度场景下，本文方法平均可达到9.12%的优化收益，相比于GPPA方法优化32.91%。本文方法优化后方案的标准差在不同的饱和度场景平均可达到6.97，相比于基准仿真控制的标准差优化46.55%，相比于GPPA控制的标准差优化25.93%，论证了时空轨迹优化方法在平均通行时间指标上具有一定优势。

本文从时间成本的角度分别分析车辆饱和度为0.6、0.8以及1.0时，智能网联汽车在城市停车等待时间以及相关收益，如图9所示。

随着车辆饱和度的提高，平均停车等待时间均会增加。本文方法优化后不同饱和度的收益约为71.13%，相比于GPPA优化，平均提高了6.64%，如图9所示。由于当车辆饱和度为0.6时优化前停车等待时长较短、当车辆饱和度为1.0时优化前停车等待时长较长，可优化的空间不大，可以看出时空轨迹优化方法在车辆饱和度为0.8时的优化效果更好。同时，本文提出的时空轨迹优化方法在车辆饱和度为1.0的情境下可比GPPA算法提升7.53%的收益，在车流较为拥堵的前提下使系统仍旧保持了较高的收益水平。

因此，结合上述分析，本文提出的时空轨迹优化方法可以有效降低平均等待时间，提高通行效率，相比于GPPA优化方案对交叉口吞吐量存在负收益的结果具有一定先进性。

3.2.2 环保经济性分析

为验证多车道轨迹优化方法具有环保经济性，本文拟合了智能网联汽车燃油消耗收益曲面图，纵向分析在不同饱和度、绿信比和最低速度限制条件下的燃油效率收益，如图10所示。再进一步横向对比应用基准控制方案与GPPA控制方案的平均燃油消耗效率收益，论证多车道轨迹优化方法的环保经济性。

无论是低饱和还是高饱和状态，燃油效率的变化与最低速度限制呈反比例关系。当最低速度限制达到8 m/s以上时，智能网联汽车收益拟合曲面随着最低速度限制的增加而形成缓坡的趋势。同时，在最低速度限制为4 m/s时，应用本文方法的燃油效率最高，且该方法在上述场景下均为正燃油效率收益，意味着符合环保经济的需求。

在车辆饱和度分别为0.6、0.8以及1.0的情况下，基准场景、GPPA优化方法以及本文提出的时空轨迹优化方法均随着车辆饱和度的增加而导致平均车辆燃油消耗效率降低。如图11（b）所示，GPPA优化后不同饱和度的收益约为8.94%、6.33%以及2.91%；时空轨迹优化方法优化后不同饱和度的收益约为13.88%、12.65%以及5.18%，相比于GPPA优化，分别提高了55.26%、99.84%以及78.01%。从图11（b）可以看出，在饱和度为0.6时，GPPA优化和本文方法优化后的效果更好，具体原因可能由于低饱和度场景下车辆可优化时间空间均有一定优势，进而导致优化效果更为接近预期。

4 结论

收起

以城市路网下的智能网联汽车为研究对象，提出了多车道时空轨迹优化方法，主要研究成果如下。

（1）充分考虑了城市路网时变性的特点，结合V2X通信提出了针对城市路网内智能网联汽车的时空轨迹生成方法以及以该方法为基础的多车道时空轨迹优化方法，快速且有效地实现了城市道路下的智能网联汽车多车道时空轨迹优化。

（2）提出的轨迹优化方法包括相关智能网联汽车状态、约束的建立与基于固定和可变成本的目标函数的构建，并基于庞特里亚金极大值原理的快速求解方法。SUMO/Python联合仿真结果表明，相比于GPPA优化方案在平均路网通行时间提升了28%~33%的收益，路网平均停车等待时间收益提升5.5%~7.6%，平均燃油排放效率收益提升35.59%~43.82%，在保证车辆安全的同时，有效缩短车辆损失时间，提升了交叉口通行效率并改善环保经济性。

（3）随着车联网技术的发展，面向城市道路的网联汽车多车道时空轨迹优化方法可从实际复杂道路、多交通参与者以及交通基础设施3个方面开展后续研究。考虑到仿真的局限性，在后续研究中以仿真阶段成果为基础，以实车为测试对象进行拓展与研究。

基金

收起

^*国家重点研发计划(2022YFB4300400)
北京市自然科学基金(4212034)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

朱庆功，刘俊女，赵笑春，等. 北京市轻型汽油车蒸发排放总量评估[J]. 中国环境科学，2022，42（3）： 1066-1072.

ZHU Q G，LIU J N，ZHAO X C，et al. Estimation of light-duty vehicles total evaporative emissions in Beijing[J]. China Environmental Science，2022，42（3）： 1066-1072.

[2]

《中国公路学报》编辑部.中国交通隧道工程学术研究综述·2022[J]. 中国公路学报，2022，35（4）： 1-40.

Editorial Board of the China Journal of Highway and Transport. Review on China’s tunnel engineering research： 2022[J]. China Journal of Highway and Transport，2022，35（4）： 1-40.

[3]

LI B，ZHANG Y M，FENG Y H，et al. Balancing computation speed and quality： a decentralized motion planning method for cooperative lane changes of connected and automated vehicles[J]. IEEE Transactions on Intelligent Vehicles，2018，3（3）： 340-350.

[4]

NOROUZI A，KAZEMI R，ABBASSI O R. Path planning and re-planning of lane change maneuvers in dynamic traffic environments[J]. International Journal of Vehicle Autonomous Systems，2019，14（3）： 239-264.

[5]

宗芳，石佩鑫，王猛，等. 考虑前后多车的网联自动驾驶车辆混流跟驰模型[J]. 中国公路学报，2021，34（7）： 105-117.

ZONG F，SHI P X，WANG M，et al. Connected and automated vehicle mixed-traffic car-following model considering states of multiple front and rear vehicles[J]. China Journal of Highway and transport，2021，34（7）： 105-117.

[6]

崔洁茗，余贵珍，周彬，等. 基于神经网络的车辆强制换道预测模型[J]. 北京航空航天大学学报，2022，48（5）： 890-897.

CUI J M，YU G Z，ZHOU B，et al. Neural network-based prediction model for forced lane change of vehicles[J]. Journal of Beijing University of Aeronautics and Astronautics，2022，48（5）： 890-897.

[7]

HAO L，SUN B H，LI G，et al. The eco-driving considering coordinated control strategy for the intelligent electric vehicles[J]. IEEE Access，2021，9： 10686-10698.

[8]

YANG Z，FENG Y H，LIU H. A cooperative driving framework for urban arterials in mixed traffic conditions[J]. Transportation Research Part C： Emerging Technologies，2021，124.

[9]

鲁工圆，王超宇，沈子力，等.面向追踪间隔压缩的高速铁路列车运行时空轨迹优化[J]. 铁道学报，2021，43（7）： 10-18.

LU G Y，WANG C Y，SHEN Z L，et al. Headway compression oriented space-time trajectory optimization for high-speed railway trains[J]. Journal of the China Railway Society，2021，43（7）： 10-18.

[10]

赵蒙，于梦琦，胡祥培.新零售背景下药品协同配送优化研究[J]. 系统工程理论与实践，2021，41（2）： 297-309.

ZHAO M，YU M Q，HU X P. Optimization scheduling method of drug collaborative distribution under the background of new retail[J]. System Engineering – Theory & Practice，2021，41（2）： 297-309.

[11]

LOIS D，WANG Y，BOGGIO-MARZET A，et al. Multivariate analysis of fuel consumption related to eco-driving： interaction of driving patterns and external factors[J]. Transportation Research Part D： Transport and Environment，2019，72： 232-242.

[12]

赵祥模，张心睿，王润民，等. 网联交叉口信号-车辆轨迹协同优化控制方法[J]. 汽车工程，2021，43（11）： 1577-1586.

ZHAO X M，ZHANG X R，WANG R M，et al. Cooperative optimization control method of traffic signals and vehicle trajectories at connected intersection[J]. Automotive Engineering，2021，43（11）： 1577-1586.

[13]

FONSECA J C，GABRIELA C S，NETO J M，et al. A multi-agent system for solving the dynamic capacitated vehicle routing problem with stochastic customers using trajectory data mining[J]. Expert Systems with Applications，2022，195，June 1.

[14]

KÜHLMORGEN S，LU H，FESTAG A，et al. Evaluation of congestion-enabled forwarding with mixed data traffic in vehicular communications[J]. IEEE Transactions on Intelligent Transportation Systems，2020，21（1）： 233-247.

[15]

REINOLSMANN N，ALHAJYASEEN W，BRIJS T，et al. Investigating the impact of dynamic merge control strategies on driving behavior on rural and urban expressways-a driving simulator study[J]. Transportation Research Part F： Traffic Psychology and Behaviour，2019，65： 469-484.

[16]

WEI Y，AVCI C，LIU J，et al. Dynamic programming-based multi-vehicle longitudinal trajectory optimization with simplified car following models[J]. Transportation Research Part B： Methodological，2017，106： 102-129.

[17]

TANVIR S，CHASE R，ROUPAHIL N. Development and analysis of eco-driving metrics for naturalistic instrumented vehicles[J]. Journal of Intelligent Transportation Systems，2021，25（3）： 235-248.

[18]

王庞伟，于洪斌，张为，等. 城市车路协同系统下实时交通状态评价方法[J]. 中国公路学报，2019，32（6）： 176-187.

WANG P W，YU H B，ZHANG W，et al. Real-time traffic status evaluation method for urban cooperative vehicle infrastructure system[J]. China Journal of Highway and Transport，2019，32（6）： 176-187.

[19]

LI L，GAN J，ZHOU K，et al. A novel lane-changing model of connected and automated vehicles： using the safety potential field theory[J]. Physica A： Statistical Mechanics and Its Applications，2020，559： 125039.

[20]

WANG P W，WANG Y F，WANG X，et al. An intelligent actuator of an indoor logistics system based on multi-sensor fusion[J]. Actuators，2021，10（6）： 120.

[21]

黄玲，郭亨聪，张荣辉，等. 人机混驾环境下基于LSTM的无人驾驶车辆换道行为模型[J]. 中国公路学报，2020，33（7）： 156-166.

HUANG L，GUO H C，ZHANG R H，et al. LSTM-based lane-changing behavior model for unmanned vehicle under environment of heterogeneous human-driven and autonomous vehicles[J]. China Journal of Highway and Transport，2020，33（7）： 156-166.

[22]

YAO H D，LI X P. Lane-change-aware connected automated vehicle trajectory optimization at a signalized intersection with multi-lane roads[J]. Transportation Research Part C： Emerging Technologies，2021，129.

[23]

PATLE B K，JHA A，PANDEY A，et al. The optimized path for a mobile robot using fuzzy decision function[J]. Materials Today： Proceedings，2019，18（7）： 3575-3581.

[24]

LIU Y，ZHANG X J，GUAN X M，et al. Adaptive sensitivity decision based path planning algorithm for unmanned aerial vehicle with improved particle swarm optimization[J]. Aerospace Science and Technology，2016（58）： 92-102.

[25]

张哲，丁海涛，张袅娜，等.智能网联电动汽车经济性巡航速度规划[J]. 汽车工程，2022，44（4）： 609-616，637.

ZHANG Z，DING H T，ZHANG N N，et al. Economic cruising speed planning of intelligent network connected electric vehicle[J]. Automotive Engineering，2022，44（4）： 609-616，637.

[26]

WANG P W，DENG H，ZHANG J，et al. Model predictive control for connected vehicle platoon under switching communication topology[J]. IEEE Transactions on Intelligent Transportation Systems，2022，23（7）： 7817-7830.

[27]

王树凤，孙文盛，刘宗锋.车辆稳定换道时的侧向加速度分析[J].机械设计与制造，2020，7： 17-20，24.

WANG S F，SUN W S，LIU Z F. Analysis on lateral acceleration of lane changing in vehicle stability[J]. Machinery Design & Manufacture，2020，7：17-20，24.

[28]

SWIDAN H. Integrating AIMSUN micro simulation model with portable emissions measurement system （PEMS）： calibration and validation case study[D]. North Carolina State University，2011.

[29]

AKCELIK R. Efficiency and drag in the power-based model of fuel consumption[J]. Transportation Research Part B： Methodological，1989，23（5）： 376-385.

2024年第46卷第2期

PDF下载

326

135

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2024.02.006

接收时间：2023-06-14
首发时间：2025-07-20
出版时间：2024-02-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-06-14
修回日期：2023-08-03

基金

^*国家重点研发计划(2022YFB4300400)

北京市自然科学基金(4212034)

作者信息

^1. 北方工业大学，城市道路交通智能控制技术北京市重点实验室，北京 100144

^2. 交通运输部公路科学研究院，运输车辆运行安全技术交通行业重点实验室，北京 100088

通讯作者:

汪云峰，助理研究员，E-mail：wang.yf@rioh.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2024.02.006

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

Q-learning算法
1	初始化 $q (s, a)$
2	while （ $π (s) = a r g m a x a q (s, a)$ ）
3	｛选择初始状态s₀，参考ε-greedy策略在状态 $s 0$ 处执行动作 $a 0$ ；
4	while （ $s t = s T$ ）
5	｛（1）参考ε-greedy策略在状态 $s t$ 处的执行动作 $a t$ ，获取奖励 $r t$ 和下一时刻状态 $s t + 1$ ；
6	（2） $q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))$ ；
7	（3） $s t = s t + 1$ ；｝｝
8	最优换道策略 $π (s) = a r g m a x a q (s, a)$

Q-learning算法

初始化

q (s, a)

while （

π (s) = a r g m a x a q (s, a)

）

｛选择初始状态s₀，参考ε-greedy策略在状态

s 0

处执行动作

a 0

；

while （

s t = s T

）

｛（1）参考ε-greedy策略在状态

s t

处的执行动作

a t

，获取奖励

r t

和下一时刻状态

s t + 1

；

（2）

q (s t, a t) ← q (s t, a t) + a (r t + 1 + γ m a x a q (s t + 1, a) - q (s t, a t))

；

（3）

s t = s t + 1

；｝｝

最优换道策略

π (s) = a r g m a x a q (s, a)

参数	设定值
权重系数w₁	100
权重系数w₂	50
权重系数w₃	10
权重系数w₄	200
权重系数w₅	1
权重系数w₆	5
权重系数w₇	50

参数

设定值

权重系数w₁

100

权重系数w₂

权重系数w₃

权重系数w₄

200

权重系数w₅

权重系数w₆

权重系数w₇

饱和度为0.6/0.8/1.0	基准仿真控制方法	GPPA	本文方法
平均值/s	84.58/96.91/125.81	79.30/90.22/116.40	77.24/88.15/113.69
标准差	9.77/12.81/16.53	6.59/8.30/13.33	4.07/6.66/10.19
收益/%	0.00/0.00/0.00	6.24/6.90/7.48	8.68/9.04/6.63

饱和度为0.6/0.8/1.0

基准仿真控制方法

GPPA

本文方法

平均值/s

84.58/96.91/125.81

79.30/90.22/116.40

77.24/88.15/113.69

标准差

9.77/12.81/16.53

6.59/8.30/13.33

4.07/6.66/10.19

收益/%

0.00/0.00/0.00

6.24/6.90/7.48

8.68/9.04/6.63