汽车工程

参考速度序列生成
$v r e f = []$
$f o r i = 0 t o N p d o :$
$u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))$
$[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))$
$v r e f · a p p e n d (v h (k + i + 1))$
End for

参考速度序列生成

v r e f = []

f o r i = 0 t o N p d o :

u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))

[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))

v r e f · a p p e n d (v h (k + i + 1))

End for

参考速度序列生成
$v r e f = []$
$f o r i = 0 t o N p d o :$
$u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))$
$[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))$
$v r e f · a p p e n d (v h (k + i + 1))$
End for

参考速度序列生成

v r e f = []

f o r i = 0 t o N p d o :

u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))

[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))

v r e f · a p p e n d (v h (k + i + 1))

End for

参数	数值或设置
输入层维度	3	4
隐藏层1和2	128/无	128/128
输出层	1	1
隐藏层激活函数	ReLU	ReLU
输出层激活函数	tanh	tanh
优化器	Adam	Adam

参数

数值或设置

策略网络

价值网络

输入层维度

隐藏层1和2

128/无

128/128

输出层

隐藏层激活函数

ReLU

输出层激活函数

tanh

优化器

Adam

参数	数值或设置
输入层维度	3	4
隐藏层1和2	128/无	128/128
输出层	1	1
隐藏层激活函数	ReLU	ReLU
输出层激活函数	tanh	tanh
优化器	Adam	Adam

参数

数值或设置

策略网络

价值网络

输入层维度

隐藏层1和2

128/无

128/128

输出层

隐藏层激活函数

ReLU

输出层激活函数

tanh

优化器

Adam

参数	数值或设置
策略网络学习率	5e-4
价值网络学习率	5e-3
回报衰减率	0.98
软更新参数	0.000 5
经验回放数组维度	10 000
训练最小经验回放维度	1 000
单次更新采样经验回放数组	64
预测数组	200
单次更新采样预测数组	20
OU噪声标准差/均值	0.15/0
OU噪声回归系数	0.15

参数

数值或设置

策略网络学习率

5e-4

价值网络学习率

5e-3

回报衰减率

0.98

软更新参数

0.000 5

经验回放数组维度

10 000

训练最小经验回放维度

1 000

单次更新采样经验回放数组

预测数组

200

单次更新采样预测数组

OU噪声标准差/均值

0.15/0

OU噪声回归系数

0.15

参数	数值或设置
策略网络学习率	5e-4
价值网络学习率	5e-3
回报衰减率	0.98
软更新参数	0.000 5
经验回放数组维度	10 000
训练最小经验回放维度	1 000
单次更新采样经验回放数组	64
预测数组	200
单次更新采样预测数组	20
OU噪声标准差/均值	0.15/0
OU噪声回归系数	0.15

参数

数值或设置

策略网络学习率

5e-4

价值网络学习率

5e-3

回报衰减率

0.98

软更新参数

0.000 5

经验回放数组维度

10 000

训练最小经验回放维度

1 000

单次更新采样经验回放数组

预测数组

200

单次更新采样预测数组

OU噪声标准差/均值

0.15/0

OU噪声回归系数

0.15

项目	CC	RL规划	RL-MPC
燃油消耗/kg	1.368	1.283	1.268
换挡次数	6	4	4
行驶距离/m	3 999.99	4 004.09	4 004.09

项目

RL规划

RL-MPC

燃油消耗/kg

1.368

1.283

1.268

换挡次数

行驶距离/m

3 999.99

4 004.09

项目	CC	RL规划	RL-MPC
燃油消耗/kg	1.368	1.283	1.268
换挡次数	6	4	4
行驶距离/m	3 999.99	4 004.09	4 004.09

项目

RL规划

RL-MPC

燃油消耗/kg

1.368

1.283

1.268

换挡次数

行驶距离/m

3 999.99

4 004.09

算法	CC	RL规划	RL-MPC
燃油消耗/kg	9.525	8.573	8.232
换挡次数	118	62	51
行驶距离/m	26 500	26 500	26 500

算法

RL规划

RL-MPC

燃油消耗/kg

9.525

8.573

8.232

换挡次数

118

行驶距离/m

26 500

算法	CC	RL规划	RL-MPC
燃油消耗/kg	9.525	8.573	8.232
换挡次数	118	62	51
行驶距离/m	26 500	26 500	26 500

算法

RL规划

RL-MPC

燃油消耗/kg

9.525

8.573

8.232

换挡次数

118

行驶距离/m

26 500

考虑不同时域的商用车预见性巡航控制^*

PDF下载

耿小虎 ¹ , 付尧 ¹ , 王杰 ¹ , 雷雨龙 ¹ , 刘卫东 ¹ , 王玉海 ² , 刘科 ¹

汽车工程 | 精选论文 2024,46(11): 2046-2058

收起

汽车工程 | 精选论文 2024, 46(11): 2046-2058

考虑不同时域的商用车预见性巡航控制^*

全屏

耿小虎¹, 付尧¹, 王杰¹, 雷雨龙¹, 刘卫东¹, 王玉海², 刘科¹

作者信息

^1. 吉林大学，汽车仿真与控制国家重点实验室，长春 130000

^2. 一汽解放青岛汽车有限公司，青岛 266000

通讯作者:

付尧，副教授，博士，E-mail：fu_yao@jlu.edu.cn。

Predictive Cruise Control for Commercial Vehicles Considering Different Time Domains

Xiaohu Geng¹, Yao Fu¹, Jie Wang¹, Yulong Lei¹, Weidong Liu¹, Yuhai Wang², Ke Liu¹

Affiliations

^1. Jilin University，State Key Laboratory of Automotive Simulation and Control，Changchun 130000

^2. FAW Jiefang Qingdao Automobile Co. ，Ltd. ，Qingdao 266000

出版时间: 2024-11-25 doi: 10.19562/j.chinasae.qcgc.2024.11.011

文章导航

摘要

收起

预见性巡航控制（predictive cruise control，PCC）在规划层以预测节能为目标进行长时域的速度规划，执行层对规划速度进行短时域的跟踪控制。由于规划层与执行层有着不同时间尺度步长要求，在系统设计中很难将二者置于一个优化控制问题中。因此，本文采用分层控制思想，在规划层基于改进的双延迟深度确定性策略梯度算法（twin delayed deep deterministic policy gradient algorithm，TD3）获得预测时域内长周期的规划速度；在执行层基于模型预测控制（model predictive control，MPC）以规划速度为参考速度，同时考虑发动机油耗特性和变速器换挡规律，对规划速度在短时域内作进一步的经济性优化，并进行跟踪控制。硬件在环验证结果表明，将改进的TD3与MPC相结合可以改善PCC在规划与执行中的时间尺度不一致问题，并有效降低重型商用车在巡航过程中的燃油消耗量和换挡频次。

关键词

预见性巡航 / 速度规划与控制 / 深度强化学习 / 模型预测控制

Abstract

收起

Predictive cruise control （PCC） performs long-term speed planning at the planning layer with the objective of predicting energy savings and short-term tracking control for the vehicle speed at the execution layer. Integrating these layers into a single optimal control problem poses significant challenges in system design due to the different time scale step requirements between the planning layer and the execution layer. To address this challenge，a hierarchical control approach is adopted in this paper. At the planning layer，an improved twin delayed deep deterministic policy gradient （TD3） algorithm is utilized to determine the long-term planning speed over the prediction horizon. Meanwhile，at the execution layer，based on model predictive control （MPC），taking the planned vehicle speed as the reference speed and considering engine fuel consumption characteristics and transmission shift laws，further economic optimization and tracking control of the planned speed are carried out in the short term. The hardware-in-the-loop （HIL） validation results show that combining the improved TD3 algorithm with MPC effectively resolves the time scale inconsistency between planning and execution in PCC，which can significantly reduce both fuel consumption and shift frequency during the cruising of heavy-duty commercial vehicles.

Key words

predictive cruising / speed planning and control / deep reinforcement learning / model predictive control

引用本文

耿小虎, 付尧, 王杰, 雷雨龙, 刘卫东, 王玉海, 刘科. 考虑不同时域的商用车预见性巡航控制^*. 汽车工程, 2024 , 46 (11) : 2046 -2058 . DOI: 10.19562/j.chinasae.qcgc.2024.11.011

Xiaohu Geng, Yao Fu, Jie Wang, Yulong Lei, Weidong Liu, Yuhai Wang, Ke Liu. Predictive Cruise Control for Commercial Vehicles Considering Different Time Domains[J]. Automotive Engineering, 2024 , 46 (11) : 2046 -2058 . DOI: 10.19562/j.chinasae.qcgc.2024.11.011

正文

收起

前言

收起

重型商用车作为道路交通运输支柱对于国民经济发展具有重要作用，其能源消耗大、碳排放占比高，燃油消耗成本占商用车全生命周期的1/3以上^[1]，因而实现重型商用车的节能降耗具有重要意义。汽车智能网联化发展为重型商用车节能控制提供了新契机^[2]。预见性巡航控制（predictive cruise control，PCC）是重型商用车节能控制的重要手段^[3]，其通过车载导航或云端平台获取将要行驶的道路信息^[4-5]，包括坡度、曲率、路况等，并根据车辆的动力学特性和能耗模型^[6]，计算不同速度下的能耗情况，从而提前调整车速以最大限度地减少能源消耗^[7]。

在预见性巡航控制（PCC）领域，国内外专家学者对节能速度规划问题进行了大量研究^[8]，主要方法包括解析优化^[9]、数值优化^[10]、模型预测控制（model predictive control，MPC）^[11-13]和强化学习（reinforcement learning，RL）^[14-15]。解析优化方法基于庞特里亚金最小值原理推导出节能车速规划问题的解析解^[16]，计算效率高、速度快，但要求规划问题形式简洁，适用于相对简单的行驶场景。数值优化方法将变量离散化，通过动态规划获得最优解^[17-18]，可用于复杂行驶场景下的多约束多目标优化，但计算量显著增加。基于MPC的速度规划效果好^[19-20]，但计算量相对较大，不适用于长时域的节能规划。强化学习方法通过智能体与环境的互动实现累积回报最大化^[21]，在面向自动驾驶的车速优化和换道决策等研究方向获得广泛的应用^[22-23]，深度确定性策略梯度算法^[24-25]可以根据车辆状态和交通信息快速解决参考速度规划问题，但须不断探索和试错，训练代价很高。

目前，对于PCC在长时域的节能速度规划问题的研究很多，而对短时域执行层的控制问题研究较少。重型商用车发动机功率大、挡位多，挡位控制方法会极大地影响整车燃油消耗^[26]。相关文献很少考虑短时域下执行层控制器对发动机工作点以及变速器挡位的优化求解^[27]。

不同时域下的PCC速度规划与控制问题示意如图1所示。对于规划层，须充分考虑全局道路信息，以节能为目标进行预测时域内长周期的速度规划^[28]。强化学习双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient algorithm，TD3）算法^[29]能够处理非线性系统优化方法的计算复杂性问题，并规划下个周期的速度，却无法进行更长时域的未来周期的速度规划^[30-31]。因此，本文在TD3算法基础上，将确定的动力学模型内嵌至算法，通过模型预测系统动态，并将状态数组保存用于更新网络，从而获得更长时域的规划速度。然而，改进的TD3算法规划的方式是通过重复训练神经网络得到的最优车速，可解释性较差^[32-33]；同时，为结合长时域的道路信息来对当前决策做出指导，其规划是秒级的，不适用于执行层毫秒级短时域控制的需求^[34-35]。MPC以优化的方法来求解控制问题，同时能够方便地处理状态变量和控制变量所面临的约束条件和系统中的不确定性及非线性^[36-37]。因此，在执行层，适合采用MPC对规划速度在短时域内作进一步的经济性优化并进行跟踪控制。

本文框架如图2所示，针对重型商用PCC在规划层与执行层时间尺度需求不一致的问题，采用分层控制思想，实现综合的节能控制。将改进TD3算法与MPC相结合，在规划层利用改进TD3算法的灵活性和泛化能力来应对长时域速度规划面临的复杂系统和环境的挑战；在执行层采用MPC保证短时域执行控制的稳定性。同时，对发动机转速转矩以及变速器挡位进行基于节能的非线性优化求解，以获得更好的经济能耗效果。最后，基于硬件在环进行仿真与验证，结果表明所提出的控制方法能够有效解决不同时域下的商用车PCC规划层与执行层的节能优化与速度控制问题。

1 车辆动力传动系统

收起

1.1 整车纵向动力学

重型商用车行驶方程式可表示为

T e i g i 0 η T r = m g f c o s α + 12 C D A ρ v 2 +

m g s i n α + δ m d v d t

（1）

式中：T_e为发动机转矩；i_g为变速器速比；i₀为主减速器速比；η_T为传动系统效率；r为车轮滚动半径；m为整车质量；f为滚动阻力系数；α为道路坡度角；C_D为空气阻力系数；A为迎风面积；ρ为空气密度；v为车辆速度；δ为旋转质量换算系数。

1.2 发动机油耗特性拟合

发动机负荷特性由转矩T_e与转速n_e表示：

T e = f (α, n e)

（2）

式中α为负荷率，发动机的负荷特性曲线如图3所示。

发动机比油耗与燃油消耗率的关系为

m ˙ f = b e P e 1000 ρ

（3）

式中：b_e为比油耗；P_e为发动机功率；ρ为燃油密度，柴油密度ρ=0.79~0.85 g/mL。

发动机万有特性（图4）是基于实验数据采样获得，其油耗特性具有较强烈的非线性，难以在优化问题中进行求解。为提高非线性规划问题求解速度和收敛性能，对发动机万有特性建立基于拟合的解析模型。将比油耗b_e数据拟合为关于转矩T_e和转速n_e的二次多项式，构建发动机比油耗多项式：

b e (n e, T e) = p 0,0 + p 0,1 n e + p 1,0 T e + p 1,1 T e n e +

p 0,2 n e 2 + p 2,0 T e 2

（4）

式中：多项式系数p_0，0=248.264，p_0，1=-0.034，p_1，0=-0.047，p_1，1=-5.539×10^-6，p_0，2=1.985×10^-6，p_2，0=1.450 × 10^-6。

拟合的发动机万有特性如图5所示。计算万有特性拟合的相对误差为

R E = ((b e, f i t t i n g - b e, a c t u a l) / b e, a c t u a l) × 100 %

（5）

式中：RE为拟合误差；b_e，fitting为拟合所得的比油耗；b_e，actual为实际采样所得的比油耗。

拟合误差分布结果如图6所示。大部分发动机工作点误差在合理范围-8%~8%之间。在边界（n_e＜800 r/min，T_e＞1000 N·m或n_e＞1800 r/min，T_e＜500 N·m）等较少位置偏差较大，但发动机一般不会在此区域工作，对结果影响不大，因此拟合精度符合研究需求。

1.3 经济性换挡规律

对于重型商用车的节能控制问题，根据前方道路信息进行预见性巡航经济性速度规划与控制，其换挡策略制定必不可少。在计算最佳经济性换挡点时，以总油耗量Q作为经济性指标，设定优化目标函数为加速至车速v并连续换挡至i挡时的总油耗量Q最小。

$\begin{aligned}Q= & \sum_{n=1}^{i} \int_{0}^{t_{n}}\left(\frac{p_{\mathrm{e}} b_{\mathrm{e}}}{3600}\right)_{n} \mathrm{~d} t=\sum_{n=1}^{i} \int_{0}^{t_{i}}\left(\frac{Q_{\mathrm{e}}}{3.6}\right)_{n} \mathrm{~d} t= \\& \sum_{n=1}^{l}\left[\int_{0}^{v_{n}}\left(\frac{Q_{\mathrm{e}(n-1)} \delta_{n} G_{\mathrm{a}}}{\left(F_{\mathrm{t}(n-1)}-F_{\varphi+\omega}\right)}\right) \mathrm{d} v+\right. \\& \left.\int_{v_{n}}^{v_{n+1}}\left(\frac{Q_{\mathrm{e}(n+1)} \delta_{n+1} G_{\mathrm{a}}}{g\left(F_{\mathrm{t}(n+1)}-F_{\varphi+\omega}\right)}\right) \mathrm{d} v\right]\end{aligned}$ （6）

式中：Q_e为燃油消耗量；δ_n 为n挡时的旋转质量换算系数；G_a为汽车重力；F_t（ _n_-1）为n-1挡的驱动力；F_φ₊ _ω 为道路阻力；t_i 、t_n 分别为从当前挡位换至i挡和n挡所需时间；v_n 、v_n₊₁分别为n挡和n+1挡时的车速。

最佳经济性升挡规律曲线如图7所示。同时，采用收敛型换挡延迟可获得最佳经济性降挡规律曲线，如图8所示。

2 基于强化学习的上层速度规划

收起

2.1 面向预测时域的TD3算法改进

2.1.1 TD3算法结构与改进方法

TD3算法虽然可以解决具有连续动作空间和高维状态空间的问题，却只能规划下一个周期的速度，无法进行更长时域的速度规划。本节针对PCC场景下的速度规划的预测规划特性对TD3算法进行改进，如图9所示。

在TD3算法中再重新维护一个预测经验回放区

R p r e

，在训练过程中执行基于确定性数学模型的预测推演，推演的时间步数N_p 作为所提出算法超参数在外部设置，将推演所得N_p 个（

s i, a i, r i, s i ′

）数组存入预测经验回放区，并在训练过程中从

R p r e

采样，更新策略和价值网络，实现预测时域内策略与价值的更新，预测方式如图10所示。

2.1.2 改进的TD3算法神经网络设计

改进TD3算法的关键任务之一是构建Actor-Critic网络的结构。Actor网络负责接收当前状态数据，组合并返回特征以输出连续动作；Critic网络则获取传感器输入和Actor网络在当前状态下的动作输出，进而输出当前状态动作的最佳值。改进TD3在进行参数化的基础上，构建6个神经网络，包括2个策略网络和4个价值网络，如图11和图12所示。

2.1.3 轨迹拼接与规划起点

如图13所示，规划层采用基于改进的TD3算法获得t+N_pT预测时域内的规划速度，并利用轨迹拼接算法保证相邻周期的轨迹对于执行层控制器来说是平滑的。

对于当前时刻t，在上一周期轨迹中找到相对应的轨迹点，与当前车辆实际速度进行比较，若误差小于设定值，则以t+T时间的上一周期轨迹点作为规划起始点；若误差大于设定值，则执行层控制器跟踪效果差，以当前实际车辆速度作为规划起始点，使用运动学模型外推速度、加速度等参数重新规划轨迹。

2.2 预见性巡航场景速度规划

2.2.1 PCC场景建模

预见性巡航主要难点在于预见性的获取并利用前方道路信息，规划更长时域的经济车速。将其参考车速设置为经济巡航车速，而后结合获取的前方道路信息，进行预见性的奖励函数设计，并对车速进行规划。预见性巡航场景的状态空间的离散微分方程为

s (k + 1) v (k + 1) = s (k) v (k) + v (k) u (k) / m - C D A ρ 2 m v 2 (k) - g f c o s α (s (k)) - g s i n α (s (k)) T

（7）

选取状态量为 x =[s（k），v（k）]^T，即车辆行驶路程与车速；控制量为u=u（k），即车辆驱动力或制动力。将重型商用车巡航的经济车速作为速度规划的参考车速，记为v_set。前方道路信息可以从车辆搭载的地理信息系统获取，并处理为车辆位置与道路坡度角、速度限制的关系函数，即

α = α (s) v l i m = v l i m (s)

（8）

式中：α为道路坡度角；v_lim为道路限速；s为车辆行驶路程。

预见性速度规划所需的参考车速v_set、未来坡度序列α=α（s）和道路限速v_lim=v_lim（s），改进TD3算法观测的状态为

s t a t e = [s, v, α] T

（9）

改进TD3算法输出的动作即目标期望驱动或制动力：

a c t i o n = u

（10）

状态和动作值的上下限约束为

v h ∈ [v s e t - h, v s e t + h] u ∈ [u m i n, u m a x]

（11）

预见性巡航要求巡航车速在参考车速v_ref一定范围h内浮动。

2.2.2 奖励函数与终止条件

为实现基于前方道路信息的PCC节能优化，须设计合理的奖励函数以保证经济性与时效性。本节采用油耗奖励保证能耗经济性，同时基于速度偏移奖励来保证时效性。

R = - λ 1 m f 2 - λ 2 v (k) - v s e t 2

（12）

式中λ_1-2为可调节系数，调节各奖励项权重。

在预见性巡航经济速度规划场景中，当发生以下任意一项事件时，该回合终止并重置和初始化环境状态，立即进入下一回合的训练中：

（1）主车逆行或持续低速；

（2）车辆长时间处于速度上限；

（3）到达设置的仿真训练时长。

2.2.3 规划速度序列生成

PCC更关注于长时域的节能规划，所以在设计基于RL的车速规划时须将算法设计为预测时域内的经济性规划算法。在生成预见性巡航速度序列时，用u=TD3_PCC（ state ）表示预见性巡航的深度强化学习的状态与动作值的关系，如表1所示。

3 基于模型预测的下层速度控制

收起

如图14所示，规划层的计算周期是T，执行层的计算周期是Δt。本文采用MPC控制器在短时域内考虑发动机燃油消耗对规划速度进一步优化与跟踪控制，否则会造成PCC控制效果变差。

3.1 基于MPC的速度控制

3.1.1 考虑坡道的速度控制

考虑道路信息的速度控制问题可以描述为：在满足各状态量与控制量的边界约束和纵向动力学方程的条件下，寻找一条控制轨迹，使整个时域或距离域内所定义的目标函数最小。其动力学约束可定义为

s ˙ (t) = v (t) v ˙ (t) = u (t) / m - C D A ρ 2 m v 2 (t) - g f c o s α (s) - g s i n α (s)

（13）

式中：控制量约束为

u ∈ [u m i n, u m a x]

；状态约束为

v ∈ [0, v m a x]

。

3.1.2 预测时域速度控制目标函数

对于速度规划动力学约束，在每个时间周期的终端约束为

ϕ = (x (t f) - x f) T P (x (t f) - x f)

（14）

式中： x （t_f）=[s（t_f），v（t_f）]^T， x _f =[s_f，v_f]^T为终端实际的状态变量； P 为可调整的权重矩阵。考虑到整车的能量消耗和控制输入，关于能量与控制量输入的惩罚为

H = ∫ t 0 t f (λ 1 u 2 (t) + λ 2 m ˙ f 2) d t

（15）

式中λ₁和λ₂为可调整参数。此外，在每个时刻可能还会存在对参考速度与参考距离的误差要求，所以还需要对参考误差做出惩罚，其表达如下：

U = ∫ t 0 t f ((x (t) - x r e f (t)) T W (x (t) - x r e f (t))) d t

（16）

式中： x （t）=[s（t），v（t）]^T， x _ref （t） =[s_ref （t），v_ref （t）]^T，即状态变量及其在每个时刻的参考； W 为可调整的权重矩阵。

则基本的速度控制问题目标函数为

J = ∫ t 0 t f [(x (t) - x r e f (t)) T W (x (t) - x r e f (t)) + λ 1 u 2 (t) + λ 2 m ˙ f 2] d t + α 1 (v (t f) - v f) 2 +

α 2 (s (t f) - s f) 2

（17）

将系统进行基于时间步长的离散化操作，使用向前欧拉的方法，则速度规划问题描述为

m i n u J = ∑ k - 1 N p L (x (k), u (k)) Δ t + β v h (N + 1) - v f 2 L (x (k), u (k)) = λ 1 m ˙ f 2 (k) + λ 2 (v (k) - v r e f (k)) 2 + λ 3 (u (k) - u (k - 1)) 2

（18）

s . t . s h (k + 1) v h (k + 1) = s h (k) v h (k) + v h (k) u (k) / m - C D A ρ 2 m v h 2 (k) - g f c o s α (s (k)) - g s i n α (s (k)) T v m i n ≤ v h (k) ≤ v l i m u m i n ≤ u (k) ≤ u m a x s h (0) = s 0 v h (0) = v 0

（19）

式中：N为总的时间步长数；k为步数；T为时间步长；λ_1-3为权重系数。

3.2 挡位优化控制器设计

挡位优化控制器设计主要考虑经济与节能，该规划问题的前提是已经获得了控制器所计算的优化控制量u，即驱动力或制动力。

从而，进一步优化发动机转速转矩与变速器挡位的最优值。

m i n n e, T e, i g Q t (n e, T e, i g) s . t . u = T e i g i 0 r n e = v i g i 0 0.377 r n m i n e c o ≤ n e ≤ n m i n e c o T m i n ≤ T e ≤ T m a x i m i n ≤ I g ≤ i m a x

（20）

式中：Q（n_e，T_e，i_g）为燃油消耗量的解析表达；i₀、m、r为车辆的固有参数；u、v为已知量；n_min，eco、n_max，eco分别为发动机高效区的最低与最高转速；T_min、T_max分别为发动机在该转速区的最低与最高转矩；i_min、i_max即为变速器的最低与最高传动比。

本文采用列文伯格-马夸尔特算法^[38]求解MPC，在求得i_g，opt后，比较切换至该传动比相近的两个挡位后的目标函数值，取目标函数值最小的挡位进行切换，即

i g, f i n a l = a r g m i n i g {Q i g, l o w (n e, T e, i g), Q i g, h i g h (n e, T e, i g)}

（21）

式中：i_g，low和i_g，high即临近i_g，opt的两个挡位；i_g，final为算法最终决定的传动比。根据i_g，final调整发动机的转速n_e和转矩T_e，即得到最终的挡位优化结果。

4 仿真验证与分析

收起

4.1 仿真平台搭建与设置

本文基于硬件在环对所提策略进行仿真和验证，如图15和图16所示。在工作站中，基于Python与PyTorch建立强化学习算法模型，并使用CasADi作为求解器求解非线性模型预测控制问题。

工作站通过CAN适配器与RapidECU控制器、NI-PXI 机箱进行通信。上位机1负责基于Simulink 编写执行器控制策略，并将控制策略通过USBCAN烧录至RapidECU控制器，同时通过MeCa软件对其中运行的策略参数进行监控。上位机2负责搭建整车及关键零部件仿真模型，通过NI VeriStand将仿真模型部署至NI-PXI 机箱，并对其中运行的模型参数进行监控。

改进的TD3网络参数和算法参数设置分别如表2和表3所示。

4.2 下层控制器工况验证

在进行PCC规划控制之前，须先对下层MPC控制器性能做出验证。正弦速度工况和重型柴油货车循环工况（heavy heavy-duty diesel truck composite cycle，HHDDT）下的MPC控制器车速跟踪效果分别如图17和图18所示。控制器的速度跟踪性能可满足要求，无换挡频繁与循环换挡。

4.3 分层控制综合仿真验证

4.3.1 “上下坡”工况仿真

重型商用车经常行驶在山区道路，频繁上下坡，因此对上下坡场景进行验证。每回合训练时的车辆参数初始化范围为：车速54~80 km/h，道路坡度角-3°~3°。训练的实际回报与平均回报值如图19所示，智能体在1 500步探索后逐渐趋于收敛，训练结束。

如图20（b）所示，RL-MPC长时域前即预见坡道，开始加速冲坡，并在坡道将要结束时提前进行加速以跟踪巡航车速；下坡前使发动机输出较小转矩，以准备下坡减小能量消耗，下坡过程中利用动能升速一直滑行至巡航车速附近，而定速巡航（cruise control，CC）速度一直维持在巡航车速72 km/h左右。

车速和挡位变化如图20（b）和图20（c）所示，CC没有冲坡，车速没有预见性地提前升高，导致上坡时，挡位降至13挡来弥补转矩需求，RL-MPC仅降到14挡，比CC减少2次换挡。

燃油消耗量对比如图20（d）所示。RL-MPC的冲坡策略取得了更小的燃油消耗。从图21可看出，“上下坡”工况RL-MPC发动机的工作点集中在低油耗区与高效率区。

平路后上下坡工况数据如表4所示。RL-MPC在行驶距离所代表的时效性优于CC的情况下，比CC降低7.31%的燃油消耗。

4.3.2 真实路段工况仿真

本文针对青岛平度市郊区的快速路路段，进行坡度数据采集，道路全程26.5 km，具体路线如图22所示。

基于真实路段工况，对RL-MPC算法进行仿真，并与定速巡航车速对比，验证其经济性，仿真结果如图23所示。发动机的工作点分布如图24所示，其高效区间主要分布在1 000到1 600 r/min。

真实道路工况数据如表5所示，RL-MPC比CC降低15.71%的燃油消耗。

通过“上下坡”工况与真实路段工况的硬件在环仿真分析，RL-MPC的节能机理可总结为两个方面。

（1）上坡前冲坡：RL算法基于前方坡道信息，提前规划车速。通过上坡前冲坡，上坡时减速，上坡后加速一系列行为，基于MPC控制更加合理地分配发动机转矩，调整变速器挡位，使发动机尽可能工作在高效区间。

（2）下坡前减速：通过下坡前减速，下坡时加速，下坡后降速一系列行为，合理利用下坡路段车辆的重力势能，重新分配发动机输出转矩。

5 结论

收起

对于重型商用车PCC规划与控制，本文采用分层控制方法，将RL与MPC相结合，从上到下对油耗进行综合多层优化，可以达到更好的节能效果。

（1）基于改进的TD3算法根据前方道路坡道信息，可以进行更长时域的节能规划，提前优化车速，并生成速度序列至执行层。

（2）在执行层控制器中，基于MPC重新分配发动机转矩，调整变速器挡位，可以使发动机尽可能工作在其高效区间，提高发动机效率。

（3）通过硬件在环进行“上下坡”工况和真实路段工况仿真，与CC、RL规划对比，RL-MPC能够提高燃油经济性，同时降低换挡频率。

基金

收起

^*四川省重点研发项目(2023YFG0068)
青岛市科技计划项目(22-5-1-yfzt-4-jch)
山东省泰山产业领军人才工程项目(tscx202211119)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

徐向阳，赵俊玮，董鹏，等. 双碳目标下商用车动力传动系统技术特征与展望[J]. 汽车安全与节能学报，2023，14（4）： 395-412.

XU X Y，ZHAO J W，DONG P，et al. Technical characteristics and prospects of power transmissions for commercial vehicles under the “Carbon-Peak and Carbon-Neutrality” target[J]. Journal of Automotive Safety and Energy，2023，14（4）： 395-412.

[2]

洪金龙，高炳钊，董世营，等. 智能网联汽车节能优化关键问题与研究进展[J]. 中国公路学报，2021，34（11）： 306-334.

HONG J L，GAO B Z，DONG S Y，et al. Key problems and research progress of energy saving optimization for intelligent connected vehicles[J]. China Joural of Highway and Transport，2021，34（11）： 306-334.

[3]

李兴坤，郑旭光，王国晖，等. 重型商用车预见性自适应巡航控制策略研究[J]. 汽车工程，2022，44（5）： 649-655，674.

LI X K，ZHENG X G，ZHENG W H，et al. Research on control strategy of predictive adaptive cruise control of heavy duty commercial vehicle[J]. Automotive Engineering，2022，44（5）： 649-655，674.

[4]

HE D F，HE W T，SONG X L. Efficient predictive cruise control of autonomous vehicles with improving ride comfort and safety[J]. Meas Control-Uk，2020，53（1-2）： 18-28.

[5]

WANG Z，CHU D F，GAO B L，et al. Cloud-based platoon predictive cruise control considering fuel-efficient and platoon stability[J]. J Transp Eng a-Syst，2024，150（3）.

[6]

LIU T，HU X S，LI S E，et al. Reinforcement learning optimized look-ahead energy management of a parallel hybrid electric vehicle[J]. IEEE-Asme T Mech，2017，22（4）： 1497-1507.

[7]

XU Z H，LI J H，XIAO F，et al. Energy-saving model predictive cruise control combined with vehicle driving cycles[J]. Int J Auto Tech-Kor，2022，23（2）： 439-450.

[8]

孙超，刘波，孙逢春. 新能源汽车节能规划与控制技术研究综述[J]. 汽车安全与节能学报，2022，13（4）： 593-616.

SUN C，LIU B，SUN F C. Review of energy-saving planning and control technology for new energy vehicles[J]. Journal of Automotive Safety and Energy，2022，13 （4）： 593-616.

[9]

CHEN H，GUO L L，DING H T，et al. Real-time predictive cruise control for eco-driving taking into account traffic constraints[J]. IEEE T Intell Transp，2019，20（8）： 2858-2868.

[10]

HE D F，SHI Y J，SONG X L. Weight-free multi-objective predictive cruise control of autonomous vehicles in integrated perturbation analysis and sequential quadratic programming optimization framework[J]. J Dyn Syst-T Asme，2019，141（9）.

[11]

WANG S Y，LIN X K. Eco-driving control of connected and automated hybrid vehicles in mixed driving scenarios[J]. Appl Energ，2020，271.

[12]

ZAINUDDIN M A S，ABDULLAH M，AHMAD S，et al. Performance comparison between predictive functional control and PID algorithms for automobile cruise control system[J]. Int J Automo Mech E，2022，19（1）： 9460-9468.

[13]

HE D F，PENG B B. Gaussian learning-based fuzzy predictive cruise control for improving safety and economy of connected vehicles[J]. Iet Intelligent Transport Systems，2020，14（5）： 346-355.

[14]

LIU X，LIU Y W，CHEN Y，et al. Enhancing the fuel-economy of V2I-assisted autonomous driving： a reinforcement learning approach[J]. IEEE T Veh Technol，2020，69（8）： 8329-8342.

[15]

MAADI S，STEIN S，HONG J，et al. Real-time adaptive traffic signal control in a connected and automated vehicle environment： optimisation of signal planning with reinforcement learning under vehicle speed guidance[J]. Sensors-Basel，2022，22（19）.

[16]

SHEN D L，KARBOWSKI D，ROUSSEAU A. Fuel-optimal periodic control of passenger cars in cruise based on pontryagin's minimum principle[J]. Ifac Papersonline，2018，51（31）： 813-820.

[17]

王建强，俞倩雯，李升波，等. 基于道路坡度实时信息的经济车速优化方法[J]. 汽车安全与节能学报，2014，5（3）： 257-262.

WANG J Q，YU Q W，LI S B，et al. Eco speed optimization based on real-time information of road gradient[J]. Journal of Automotive Safety and Energy，2014，5（3）： 257-262.

[18]

王玉海，李兴坤，张鹏雷，等. 基于ADAS地图的载货车预见巡航实时优化算法[J]. 汽车工程，2020，42（10）： 1335-1339，1411.

WANG Y H，LI X K，ZHANG P L，et al. Real-time optimization algorithm for truck predictive cruise based on ADAS map[J]. Automotive Engineering，2020，42 （10）： 1335-1339，1411.

[19]

LI S E，GUO Q Q，XU S B，et al. Performance enhanced predictive control for adaptive cruise control system considering road elevation information[J]. IEEE T Intell Vehicl，2017，2（3）： 150-160.

[20]

JIA Y，JIBRIN R，ITOH Y，et al. Energy-optimal adaptive cruise control for electric vehicles in both time and space domain based on model predictive control[J]. Ifac Papersonline，2019，52（5）： 13-20.

[21]

邓小豪，侯进，谭光鸿，等. 基于强化学习的多目标车辆跟随决策算法[J]. 控制与决策，2021，36（10）： 2497-2503.

DENG X H，HOU J，TAN G H，et al. Multi-objective vehicle following decision algorithm based on reinforcement learning[J]. Control and Decision，2021，36（10）： 2497-2503.

[22]

MYNUDDIN M，GAO W N. Distributed predictive cruise control based on reinforcement learning and validation on microscopic traffic simulation[J]. Iet Intelligent Transport Systems，2020，14（5）： 270-277.

[23]

LI J，WU X D，FAN J W. Speed planning for connected and automated vehicles in urban scenarios using deep reinforcement learning[J]. 2022 IEEE Vehicle Power and Propulsion Conference （Vppc），2022.

[24]

HE W L，HUANG Y. Real-time energy optimization of hybrid electric vehicle in connected environment based on deep reinforcement learning[J]. Ifac Papersonline，2021，54（10）： 176-181.

[25]

GUO J H，LI W C，LUO Y G，et al. Model predictive adaptive cruise control of intelligent electric vehicles based on deep reinforcement learning algorithm FWOR driver characteristics[J]. Int J Auto Tech-Kor，2023，24（4）： 1175-1187.

[26]

LI G Q，GORGES D. Ecological adaptive cruise control for vehicles with step-gear transmission based on reinforcement learning[J]. IEEE T Intell Transp，2020，21（11）： 4895-4905.

[27]

HELLSTRöM E，IVARSSON M，ÅSLUND J，et al. Look-ahead control for heavy trucks to minimize trip time and fuel consumption[J]. Control Eng Pract，2009，17（2）： 245-254.

[28]

GUO L L，GAO B Z，GAO Y，et al. Optimal energy management for HEVs in eco-driving applications using Bi-level MPC[J]. IEEE T Intell Transp，2017，18（8）： 2153-2162.

[29]

YANG J R，PENG W F，SUN C. A learning control method of automated vehicle platoon at straight path with DDPG-based PID （vol 10，2580，2021）[J]. Electronics-Switz，2022，11（4）.

[30]

ZHU M X，WANG Y H，PU Z Y，et al. Safe，efficient，and comfortable velocity control based on reinforcement learning for autonomous driving[J]. Transport Res C-Emer，2020，117.

[31]

ZHU M X，WANG X S，WANG Y H. Human-like autonomous car-following model with deep reinforcement learning[J]. Transport Res C-Emer，2018，97： 348-368.

[32]

LEE H，CHA S W. Energy management strategy of fuel cell electric vehicles using model-based reinforcement learning with data-driven model update[J]. IEEE Access，2021，9： 59244-59254.

[33]

LEE H，KANG C，PARK Y I，et al. Online data-driven energy management of a hybrid electric vehicle using model-based Q-learning[J]. IEEE Access，2020，8： 84444-84454.

[34]

BADINGS T，SIMAO T D，SUILEN M，et al. Decision-making under uncertainty： beyond probabilities challenges and perspectives[J]. Int J Softw Tools Te，2023，25（3）： 375-391.

[35]

WU J D，HUANG Z Y，LV C. Uncertainty-aware model-based reinforcement learning： methodology and application in autonomous driving[J]. IEEE T Intell Vehicl，2023，8（1）： 194-203.

[36]

YEOM K. Learning model predictive control for efficient energy management of electric vehicles under car following and road slopes[J]. Energy Rep，2022，8： 599-604.

[37]

LIN M，SUN Z Q，XIA Y Q，et al. Reinforcement learning-based model predictive control for discrete-time systems[J]. IEEE T Neur Net Lear，2024，35（3）： 3312-3324.

[38]

CHU Z Z，WANG D，MENG F. An adaptive RBF-NMPC architecture for trajectory tracking control of underwater vehicles[J]. Machines，2021，9（5）.

2024年第46卷第11期

PDF下载

407

143

引用本文

BibTeX

文章信息

doi: 10.19562/j.chinasae.qcgc.2024.11.011

接收时间：2024-06-02
首发时间：2025-07-21
出版时间：2024-11-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-06-02
修回日期：2024-07-09

基金

^*四川省重点研发项目(2023YFG0068)

青岛市科技计划项目(22-5-1-yfzt-4-jch)

山东省泰山产业领军人才工程项目(tscx202211119)

作者信息

^1. 吉林大学，汽车仿真与控制国家重点实验室，长春 130000

^2. 一汽解放青岛汽车有限公司，青岛 266000

通讯作者:

付尧，副教授，博士，E-mail：fu_yao@jlu.edu.cn。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/qcygc/CN/10.19562/j.chinasae.qcgc.2024.11.011

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

参考速度序列生成
$v r e f = []$
$f o r i = 0 t o N p d o :$
$u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))$
$[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))$
$v r e f · a p p e n d (v h (k + i + 1))$
End for

参考速度序列生成

v r e f = []

f o r i = 0 t o N p d o :

u k + i = T D 3 P C C (s h k + i, v h k + i, α (s h k + i))

[s h k + i + 1, v h k + i + 1] T = f ([s h k + i, v h k + i] T, u (k + i))

v r e f · a p p e n d (v h (k + i + 1))

End for

参数	数值或设置
输入层维度	3	4
隐藏层1和2	128/无	128/128
输出层	1	1
隐藏层激活函数	ReLU	ReLU
输出层激活函数	tanh	tanh
优化器	Adam	Adam

参数

数值或设置

策略网络

价值网络

输入层维度

隐藏层1和2

128/无

128/128

输出层

隐藏层激活函数

ReLU

输出层激活函数

tanh

优化器

Adam

参数	数值或设置
策略网络学习率	5e-4
价值网络学习率	5e-3
回报衰减率	0.98
软更新参数	0.000 5
经验回放数组维度	10 000
训练最小经验回放维度	1 000
单次更新采样经验回放数组	64
预测数组	200
单次更新采样预测数组	20
OU噪声标准差/均值	0.15/0
OU噪声回归系数	0.15

参数

数值或设置

策略网络学习率

5e-4

价值网络学习率

5e-3

回报衰减率

0.98

软更新参数

0.000 5

经验回放数组维度

10 000

训练最小经验回放维度

1 000

单次更新采样经验回放数组

预测数组

200

单次更新采样预测数组

OU噪声标准差/均值

0.15/0

OU噪声回归系数

0.15

项目	CC	RL规划	RL-MPC
燃油消耗/kg	1.368	1.283	1.268
换挡次数	6	4	4
行驶距离/m	3 999.99	4 004.09	4 004.09

项目

RL规划

RL-MPC

燃油消耗/kg

1.368

1.283

1.268

换挡次数

行驶距离/m

3 999.99

4 004.09

算法	CC	RL规划	RL-MPC
燃油消耗/kg	9.525	8.573	8.232
换挡次数	118	62	51
行驶距离/m	26 500	26 500	26 500

算法

RL规划

RL-MPC

燃油消耗/kg

9.525

8.573

8.232

换挡次数

118

行驶距离/m

26 500