都市快轨交通

参数名称	参数大小
线路总长/m	41 262
线路车站数量/座	31
线路在线列车数	45
全天运行列次	336
接触网单位电阻/(mΩ/km)	0.004 5
走行轨单位电阻/(mΩ/km)	0.001 37

参数名称	参数大小
线路总长/m	41 262
线路车站数量/座	31
线路在线列车数	45
全天运行列次	336
接触网单位电阻/(mΩ/km)	0.004 5
走行轨单位电阻/(mΩ/km)	0.001 37

参数名称	参数大小
列车编组	6 辆编组,4 动 2 拖
列车质量/t	动车:39；拖车:35
回转质量系数	0.1
逆变器效率	0.98
电机效率	0.95
风阻系数	0.165
正常牵引网压/V	1 500

参数名称	参数大小
列车编组	6 辆编组,4 动 2 拖
列车质量/t	动车:39；拖车:35
回转质量系数	0.1
逆变器效率	0.98
电机效率	0.95
风阻系数	0.165
正常牵引网压/V	1 500

参数类型	参数大小
神经网络输入层神经元数	4
神经网络隐藏层层数	2
神经网络隐藏层 1 神经元数	128
神经网络隐藏层2神经元数	128
神经网络输出层神经元数	21
神经网络激活函数	Leaky-RELU
神经网络反向传播训练算法	Adam、RMSProp
区间运行时间可调范围	$- {10} \sim {10}\mathrm{\;s}$
区间运行时间调整间隔	1 s
Dueling DQN 算法折扣系数	0.8
Dueling DQN 算法贪婪系数	0.9~0.1

参数类型	参数大小
神经网络输入层神经元数	4
神经网络隐藏层层数	2
神经网络隐藏层 1 神经元数	128
神经网络隐藏层2神经元数	128
神经网络输出层神经元数	21
神经网络激活函数	Leaky-RELU
神经网络反向传播训练算法	Adam、RMSProp
区间运行时间可调范围	$- {10} \sim {10}\mathrm{\;s}$
区间运行时间调整间隔	1 s
Dueling DQN 算法折扣系数	0.8
Dueling DQN 算法贪婪系数	0.9~0.1

	Random	DQN	Dueling- DQN	Double- DQN	Dueling- DDQN
回合总奖励	-60.32	-53.2	-51.6	-50.1	-51.4
列车全线总牵引能耗/kW·h	113 263	106 343	105 451	106 345	106 542
乘客平均出行时间变化量/s	-1.27	$- {0.993}\;3$	-1.021	-1.4484	-1.251
SHDLZ 站到达时间偏差/s	2	1	0	0	1
NMZ 站到达时间偏差/s	1	-3	-2	-1	0
$\mathrm{{LQZ}}$ 站到达时间偏差/s	2	0	0	1	0
SHDLZ 站到达时间偏差/s	-2	2	0	-1	2

	Random	DQN	Dueling- DQN	Double- DQN	Dueling- DDQN
回合总奖励	-60.32	-53.2	-51.6	-50.1	-51.4
列车全线总牵引能耗/kW·h	113 263	106 343	105 451	106 345	106 542
乘客平均出行时间变化量/s	-1.27	$- {0.993}\;3$	-1.021	-1.4484	-1.251
SHDLZ 站到达时间偏差/s	2	1	0	0	1
NMZ 站到达时间偏差/s	1	-3	-2	-1	0
$\mathrm{{LQZ}}$ 站到达时间偏差/s	2	0	0	1	0
SHDLZ 站到达时间偏差/s	-2	2	0	-1	2

行向	优化前	优化后	变化量	变化率1%
平均上行时间/s	3 103	3102	-1	-0.03
平均下行时间/s	3 103	3100	-3	-0.09
全线时间总计/s	6 206	6 202	-4	-0.06
全天牵引能耗总计 (仿真)/kW·h	116 534	105 451	-11083	-9.5
全天牵引能耗总计 (实测)/kW·h	115 214	109 143	-6071	-5.27
车公里能耗(实测)/ (kW·h/km)	1.242	1.180	-0.062	-4.99

行向	优化前	优化后	变化量	变化率1%
平均上行时间/s	3 103	3102	-1	-0.03
平均下行时间/s	3 103	3100	-3	-0.09
全线时间总计/s	6 206	6 202	-4	-0.06
全天牵引能耗总计 (仿真)/kW·h	116 534	105 451	-11083	-9.5
全天牵引能耗总计 (实测)/kW·h	115 214	109 143	-6071	-5.27
车公里能耗(实测)/ (kW·h/km)	1.242	1.180	-0.062	-4.99

基于 Dueling DQN 算法的列车运行图节能优化研究

PDF下载

刘飞 ¹ , 唐方慧 ¹ , 刘琳婷 ¹ , 胡文斌 ² , 哈进兵 ² , 钱程 ²

都市快轨交通 | 绿色·智慧专论 2024,37(2): 39-46

收起

都市快轨交通 | 绿色·智慧专论 2024, 37(2): 39-46

基于 Dueling DQN 算法的列车运行图节能优化研究

全屏

刘飞¹, 唐方慧¹, 刘琳婷¹, 胡文斌², 哈进兵², 钱程²

作者信息

¹ 苏州市轨道交通集团有限公司运营管理中心江苏苏州 215101

² 南京理工大学南京 210014

刘飞，男，硕士，高级工程师，主要从事轨道交通运输组织策划，liufei@sz-mtr.com

通讯作者:

胡文斌，男，博士，副教授，主要从事轨道交通节能研究，hwb_njust@163.com

Energy Saving Optimization of Train Operation Timetable Based on a Dueling DQN Algorithm

Fei LIU¹, Fanghui TANG¹, Linting LIU¹, Wenbin HU², Jinbing HA², Cheng QIAN²

Affiliations

¹ Operation Management Center Suzhou Rail Transit Group Co. Suzhou Jiangsu 215101

² Nanjing University of Science and Technology Nanjing 210014

doi: 10.3969/j.issn.1672-6073.2024.02.006

文章导航

摘要

收起

通过优化地铁时刻表可有效降低地铁牵引能耗。为解决客流波动和车辆延误对实际节能率影响的问题,提出列车牵引和供电系统实时潮流计算分析模型和基于 Dueling Deep Q Network(Dueling DQN)深度强化学习算法相结合的运行图节能优化方法,建立基于区间动态客流概率统计的时刻表迭代优化模型,降低动态客流变化对节能率的影响。对预测Q网络和目标Q 网络分别选取自适应时刻估计和均方根反向传播方法,提高模型收敛快速性,同时以时刻表优化前、后总运行时间不变、乘客换乘时间和等待时间最小为优化目标,实现节能时刻表无感切换。以苏州轨道交通4号线为例验证方法的有效性,节能对比试验结果表明:在到达换乘站时刻偏差不超过2s和列车全周转运行时间不变的前提下,列车牵引节能率达5.27%,车公里能耗下降4.99%。

关键词

城市轨道交通 / 时刻表优化 / 牵引节能 / Dueling DQN / 动态客流

Abstract

收起

Subway traction energy consumption can be reduced by optimizing subway timetables. To solve the problem of the impact of passenger flow fluctuations and train delays on the actual energysaving rate, this study proposes a Dueling Deep Q Network (DQN) deep reinforcement learning timetable optimization algorithm combined with a realtime subway power supply current flow calculation model. An interval iterative optimization model based on the spatiotemporal distribution of the dynamic passenger flow was established to suppress the impact of passenger flow variation. The Adaptive Moment Estimation (Adam) and root mean square propagation (RMSProp) methods were applied to predict the Qnetwork and target Qnetwork as well as improve the convergence speed of the model. While minimizing passenger transfer, waiting, and total travel times, this model allows for the seamless switching of energysaving timetables. The test results for Suzhou Line 4 demonstrate the effectiveness of the proposed method. Under the conditions that the arrival time deviation at transfer stations was less than 2 s and the overall operating time of trains remained unchanged, the traction energy saving was 5.27%, and the train kilometer energy consumption decreased by 4.99%.

Key words

urban rail transit / timetable optimization / traction energy saving / Dueling DQN / dynamic passenger traffic

引用本文

刘飞, 唐方慧, 刘琳婷, 胡文斌, 哈进兵, 钱程. 基于 Dueling DQN 算法的列车运行图节能优化研究. 都市快轨交通, 2024 , 37 (2) : 39 -46 . DOI: 10.3969/j.issn.1672-6073.2024.02.006

Fei LIU, Fanghui TANG, Linting LIU, Wenbin HU, Jinbing HA, Cheng QIAN. Energy Saving Optimization of Train Operation Timetable Based on a Dueling DQN Algorithm[J]. Urban Rapid Rail Transit, 2024 , 37 (2) : 39 -46 . DOI: 10.3969/j.issn.1672-6073.2024.02.006

正文

收起

1 研究背景

收起

列车运行图节能优化通过调整区间运行时间、停站时间、发车间隔以及折返时间等,优化多列车协调运行, 提高再生制动能量的利用效率, 可以降低地铁牵引能耗 ^{[ 1 ]} 。根据最小运行时间的原则, ZHANG 等重点关注站间运行时间的优化分配, 以减少牵引能量[ 2 ]。吴承泽综合考虑了轨道交通运营公司的运营成本和乘客的乘车体验, 针对列车牵引节能问题, 设计了基于深度强化学习的列车区间运行时间优化方法 ^{[ 3 ]} 。沙淼等应用极大值原理,导出了列车节能运行的工况, 并重点分析了列车运行时间和方式对能耗的影响 ^{[ 4 ]} 。 CHEN 等提出了综合优化方法的节能列车控制和直流牵引供电系统模型 ^{[ 5 ]} 。SUN 等考虑了速度限制和坡度的情况, 通过调整相邻列车在非制动阶段的运行速度曲线来吸收制动列车的制动能量 ^{[ 6 ]} 。CAROTENUTO ^{[ 7 ]} 和 WU 等 ^{[ 8 ]} 提出了均衡度指标,建立描述轨道交通实际运营中动态客流需求的均衡度的指标, 对换乘站瓶颈进行优化, 减少其乘客等待时间。HASSANNAYEBI 等以最小化乘客等待时间为目标, 使用鲁棒优化方法使乘客等待时间减少了 ${22}{\%}^{\left\lbrack 9\right\rbrack }$ 。LIU 等在此基础上以列车能耗为优化目标, 设计启发式局部搜索算法寻求节能区间运行时间最优解 ^{[ 10 ]} 。YIN 等则提出了一种基于拉格朗日松弛的启发式时间表优化算法, 通过改变列车时刻表在降低乘客等待时间和降低运营成本之间达成最佳契合点[ 11 ]。

时刻表节能优化调整通常会导致乘客换乘时间和线路换乘衔接、乘客等待时间以及延误调整等与原时刻表出现较大偏差, 从而影响乘客体验[ 12 ]。

实际高客流地铁线路中存在的列车延误、计划运行图贴图率低等问题, 导致地铁节能运营时刻表节能效率下降, 以及延误线路的实际到发时刻和衔接线路列车计划时刻表劣化, 导致乘客等待时间延长等, 针对这些问题进行深入研究, 对于现实运营过程中节能运行图应用和推广, 具有一定的理论和应用价值。

2 模型建立

收起

2.1 牵引供电系统时变模型

地铁牵引供电系统是个复杂的时变网络, 在多车运行的过程中, 列车之间存在能量传递。图 1 中, 当列车 $i + 1$ 和列车 $i - 1$ 的牵引阶段能和列车 $i$ 的制动阶段重合时,列车 $i$ 的回馈能量被列车 $i - 1$ 和列车 $i + 1$ 利用。

因此通过调整列车区间的运行时间,增加同一个供电分区中多辆车牵引和制动的重叠时间, 可以有效提高再生制动能量吸收率, 降低牵引能耗。

如图 2 所示, 为了精确计算实际线路能耗, 采用节点导纳矩阵和牛顿-拉夫逊法对地铁的牵引供电系统进行潮流计算建模, 通过导入实时客流和实际运行时刻表,完成线路的实时能耗计算。

其中, 牵引变电所等效为理想电压源串联电阻的戴维南等效模型, 列车视为动态功率源。接触网/接触轨、回流轨、接地网等效为电阻, 建立供电网节点导纳矩阵。对于一个含有 $k = 2\left({m + n}\right)$ 个节点的直流牵引供电系统,建立节点电压 $\mathbf{U}= {\left\lbrack {U}_{1},{U}_{2},\cdots ,{U}_{n - 1},{U}_{n}\right\rbrack }^{\mathrm{T}}$ ,节点电流 $\mathbf{I}= {\left\lbrack {I}_{1},{I}_{2},\cdots ,{I}_{n - 1},{I}_{n}\right\rbrack }^{\mathrm{T}}$ ,其中 $m$ 表示上线列车数, $n$ 表示变电站节点数,则节点导纳方程具体形式可以表示为

(1) ${\mathbf{Y}}_{\left( t\right)} \cdot {\mathbf{U}}_{\left( t\right)} -{\mathbf{I}}_{\left( t\right)} =\left\lbrack \begin{matrix}{Y}_{1,1}& {Y}_{1,2}& && \\{Y}_{2,1}& {Y}_{2,2}& {Y}_{2,3}& &\\& \ddots &\ddots &\ddots &\\& &{Y}_{k - 1, k - 2}& {Y}_{k - 1, k - 1}& {Y}_{k - 1, k}\\& && {Y}_{k, k - 1}& {Y}_{k, k}\end{matrix}\right\rbrack .$

$\left\lbrack \begin{array}{l}{U}_{1}\\{U}_{2}\\\vdots \\{U}_{k - 1}\\{U}_{k}\end{array}\right\rbrack -\left\lbrack \begin{array}{l}{I}_{1}\\{I}_{2}\\\vdots \\{I}_{k - 1}\\{I}_{k}\end{array}\right\rbrack = 0 $

式中, $\mathbf{Y}\left( t\right)\text{、}\mathbf{U}\left( t\right)\text{、}\mathbf{I}\left( t\right)$ 分别表示 $t$ 时刻牵引供电系统的节点导纳矩阵、各节点电压、各节点电流。导纳矩阵中对角线元素 ${Y}_{ii}\left( t\right)$ 为节点自导纳, ${Y}_{ij}\left( t\right)$ 为两节点间的互导纳。对于式(1),针对变电站节点和列车节点,还需要补充 $k$ 个辅助方程,见式(2)。

对于 $m$ 个变电站节点来说,每个变电站可列出如下辅助方程(以第 $j$ 个变电站为例)

(2) $\left\{\begin{array}{l}{I}_{j}\left( t\right)+ {I}_{j}^{\prime }\left( t\right)= 0,\text{ 当 }{I}_{j}\left( t\right)> 0 \\{I}_{j}\left( t\right)= {I}_{j}^{\prime }\left( t\right)= 0,\text{ 当 }{I}_{j}\left( t\right)\leq 0 \\{U}_{j}\left( t\right)- {U}_{j}^{\prime }\left( t\right)= {U}_{s}- {I}_{j}\left( t\right)\cdot {R}_{eq}\end{array}\right.$

对于 $n$ 个列车节点来说,每个列车节点可列出如下辅助方程 (以第 $j$ 个列车节点为例)

(3) $\left\{\begin{array}{ll}{P}_{j}\left( t\right)= \left({{U}_{j}\left( t\right)- {U}_{j}^{\prime }\left( t\right)}\right)\cdot {I}_{j}^{\prime }\left( t\right), &\text{ 制动电阻未投切时 }\\{U}_{j}\left( t\right)- {U}_{j}^{\prime }\left( t\right)= {U}_{\max },& \text{ 制动电阻投切时 }\left( 3\right)\\{I}_{j}\left( t\right)+ {I}_{j}^{\prime }\left( t\right)= 0 &\end{array}\right.$

式中, ${U}_{j}\left( t\right)$ 和 ${U}_{j}^{\prime }\left( t\right)$ 分别为第 $j$ 个节点在接触网和走行轨上的节点电压, ${I}_{j}\left( t\right)$ 和 ${I}_{j}^{\prime }\left( t\right)$ 分别为第 $j$ 个节点在接触网和走行轨处的注入电流。 ${U}_{\mathrm{s}}$ 为戴维南等效模型的开路电压, ${R}_{eq}$ 为戴维南等效模型的等效内阻, ${P}_{j}\left( t\right)$ 为该列车节点在当前时刻下的功率, ${U}_{\max }$ 为接触网网压上限值。

对整个牵引供电系统进行潮流优化计算, 使牵引变电所总能耗最小

(4) $\min {E}_{dc}= \min {\int }_{0}^{T}\mathop{\sum }\limits_{k}{U}_{dc}^{i}\left( t\right){I}_{dc}^{i}\left( t\right)\mathrm{d}t $

式中, ${U}_{dc}^{i}\left( t\right)$ 表示第 $i$ 个变电站节点的直流母线电压, ${I}_{dc}^{i}\left( t\right)$ 表示第 $i$ 个变电站节点的直流母线电流, ${E}_{dc}$ 表示目标函数为牵引变电所能耗最小化。

2.2 考虑乘客乘车时间的运行时间调整分析

根据地铁公司提供的客流数据, 绘制其时间-空间-客流三维分布图, 如图 3 所示。

为了刻画动态客流的情况,对于某一时间间隔 $t$ , 其中 $t \in \{ 1,2,\cdots , T\}, n$ 为线路站点总个数,整个轨道交通系统中所有乘客的交通出行量(origin destination, OD)可以用一个矩阵 $\mathbf{A}\left( t\right)$ 进行描述,有

(5) $\left\{\begin{array}{l}\mathbf{A}\left( t\right)= \left\lbrack \begin{matrix}{b}_{\left\lbrack 1,1\right\rbrack }\left( t\right){q}_{\left\lbrack 1,1\right\rbrack }\left( t\right)& \cdots &{b}_{\left\lbrack 1, n\right\rbrack }\left( t\right){q}_{\left\lbrack 1, n\right\rbrack }\left( t\right)\\\vdots &\ddots &\vdots \\{b}_{\left\lbrack n,1\right\rbrack }\left( t\right){q}_{\left\lbrack n,1\right\rbrack }\left( t\right)& \cdots &{b}_{\left\lbrack n, n\right\rbrack }\left( t\right){q}_{\left\lbrack n, n\right\rbrack }\left( t\right)\end{matrix}\right\rbrack \\{b}_{\left\lbrack i, j\right\rbrack }\left( t\right)= \frac{{q}_{\left\lbrack i, j\right\rbrack }\left( t\right)}{\mathop{\sum }\limits_{{m = 1}}^{n}{q}_{\left\lbrack i, j\right\rbrack }\left( t\right)} \end{array}\right.$

式中, $n$ 为站台数, $1 \leq i \leq n;{q}_{\left\lbrack i, j\right\rbrack }\left( t\right)$ 表示第 $t$ 个时段由站 $i$ 到站 $j$ 的乘客总数; ${b}_{\left\lbrack i, j\right\rbrack }\left( t\right)$ 为 $\mathrm{{OD}}$ 转移比例。

所在时段 $t$ 内,整个系统内客流的均衡度指标可以表示为 $\eta \left( t\right)$ ,其中 $\lambda \left( t\right)$ 是所有乘客的 $\mathrm{{OD}}$ 需求的均值。而 $\left({{n}^{2}- n}\right)/2$ 是线路上乘客的所有 $\mathrm{{OD}}$ 对的总数, 有

(6) $\left\{\begin{array}{l}\eta \left( t\right)= \lambda \left( t\right)\sqrt{\mathop{\sum }\limits_{{i = 1{i}^{\prime }= i + 1}}^{{n - 1}}\mathop{\sum }\limits_{n}{\left\lbrack {b}_{\left\lbrack i, j\right\rbrack }\left( t\right){q}_{\left\lbrack i, i\right\rbrack }\left( t\right)- \lambda \left( t\right)\right\rbrack }^{2}/\frac{1}{2}\left({{n}^{2}- n}\right)} \\\lambda \left( t\right)= \frac{1}{\mathop{\sum }\limits_{{i = 1}}^{{n - 1}}{f}_{\left\lbrack i, i\right\rbrack }\left( t\right)/\frac{1}{2}\left({{n}^{2}- n}\right)} \end{array}\right.$

式中, ${f}_{\left\lbrack i, i\right\rbrack }\left( t\right)$ 表示从车站 $i$ 到车站 $j$ 且在时段 $t$ 到达车站 $i$ 的乘客数量。

从时间间隔 1 到时间间隔 $T$ ,所有乘客 OD 需求间的客流均衡度指标可以表示为式(7)

(7) $\Phi =\mathop{\sum }\limits_{{t = 1}}^{T}\eta \left( t\right)$

假设乘客从站台 1 到站台 3 ,乘车时间和等待时间如图 4 所示。

针对快慢车运行线路, 引入乘客乘车 0-1 变量, 如下表示

(8) $\left\{\begin{array}{l}{\mu }_{\left\lbrack m, i\right\rbrack }= \left\{\begin{array}{ll} 1,& \text{ 车辆}m\text{在车站}i\text{停车}\\ 0,& \text{ 否则 }\end{array}\right.\\{\omega }_{\left\lbrack m, i,{i}^{\prime }\right\rbrack }= \left\{\begin{array}{ll} 1,& {\mu }_{\left\lbrack m, i\right\rbrack }= 1\text{且}{\mu }_{\left\lbrack m,{i}^{\prime }\right\rbrack }= 1 \\ 0,& \text{ 否则 }\end{array}\right.\end{array}\right.$

引入 0-1 变量之后, 乘客在不同情况下的等待时间 ${G}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)$ 为

(9) ${G}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)= \mathop{\min }\limits_{{> 0}}\left\{\begin{matrix}{t}_{D,\left\lbrack {1, i}\right\rbrack }{\omega }_{\left\lbrack 1, i,{i}^{\prime }\right\rbrack }+ v\left({1 -{\omega }_{\left\lbrack 1, i,{i}^{\prime }\right\rbrack }}\right)- t \\\vdots \\{t}_{D,\left\lbrack {k, i}\right\rbrack }{\omega }_{\left\lbrack k, i,{i}^{\prime }\right\rbrack }+ v\left({1 -{\omega }_{\left\lbrack k, i,{i}^{\prime }\right\rbrack }}\right)- t \\\vdots \\{t}_{D,\left\lbrack {1, i, i}\right\rbrack }{\omega }_{\left\lbrack k, i,{i}^{\prime }\right\rbrack }+ v\left({1 -{\omega }_{\left\lbrack 1, i,{i}^{\prime }\right\rbrack }}\right)- t \end{matrix}\right\}$

$= {t}_{D,{K}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)}{\beta }_{\left\lbrack {K}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left(\mathrm{t}\right), i,{i}^{\prime }\right\rbrack }+ v\left({1 -{\beta }_{\left\lbrack {K}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left(\mathrm{t}\right), i,{i}^{\prime }\right\rbrack }}\right)- t $

式中, $v$ 是无穷大数, ${K}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)$ 是乘客 ${q}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)$ 实际乘坐的车辆编号。

乘客总出行时间 $F$ 为

(10) $\left\{\begin{array}{l}{F}_{1}= \mathop{\sum }\limits_{T}^{{t = 1}}\mathop{\sum }\limits_{{n - 1}}^{{i = 1}}\mathop{\sum }\limits_{n}^{{{i}^{\prime }= 1}}{f}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right){G}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)\\{F}_{2}= \mathop{\sum }\limits_{T}^{{t = 1}}\mathop{\sum }\limits_{{n - 1}}^{{i = 1}}\mathop{\sum }\limits_{n}^{{{i}^{\prime }= 1}}{f}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right){P}_{\left\lbrack i,{i}^{\prime }\right\rbrack }\left( t\right)\\ F ={F}_{1}+ {F}_{2}\end{array}\right.$

式中, ${F}_{1}$ 是乘客总等待时间, ${F}_{2}$ 乘客总乘车时间, $F$ 是乘客总出行时间。

3 基于 Dueling DQN 的运行时间优化算法设计

收起

本研究的目标是列车全线能耗最低和乘客平均出行时间最小,同时保证到达换乘站运行时刻和全线总运行时间基本不变,因此进行马尔可夫迭代过程建模。

3.1 智能体

将各区间调整时间 $\Delta {t}_{i}$ 设计为 $-{10}\sim {10}\mathrm{\;s}$ 之间的整数,即动作空间为 $\left\lbrack {-{10},{10}}\right\rbrack$ 中的整数,智能体将当前状态输入 $\mathrm{Q}$ 网络获得动作 ${a}_{t}$ ,然后与下一站环境交互, 获取下一站的状态并做出决策。

3.2 环境

列车全线共 $n + 1$ 个站、 $n$ 个站间,将智能体每次动作后的站台号 $i$ 、时间变化总和 $\Delta {T}_{i}$ 、乘客数量 ${p}_{i}$ 、换乘站标志位 ${F}_{i}$ 作为环境的状态 ${S}_{i}\left({i,\Delta {T}_{i},{p}_{i},{F}_{i}}\right)$ ,即一个四维向量。将列车的运行状态作为一个状态转移过程

(11) ${S}_{1}\xrightarrow[]{{a}_{1}}{S}_{2}\xrightarrow[]{{a}_{2}}{S}_{3}\cdots {S}_{i}\cdots {S}_{N}\xrightarrow[]{{a}_{N}}{S}_{N + 1}$

3.3 奖励函数设计

3.3.1 列车总能耗

列车的牵引变电所能耗目标函数 ${f}_{1}$ 表示为

(12) ${f}_{1}\left({\Delta {t}_{1},\Delta {t}_{2}\cdots \Delta {t}_{n}}\right)= \mathop{\sum }\limits_{{i = 1}}^{n}{E}_{i}\left({\Delta {t}_{1},\Delta {t}_{2}\cdots \Delta {t}_{n}}\right)$

式中, $\Delta {t}_{i}$ 为从第 $i$ 个站间运行时分在原计划时刻表上的变化量, ${E}_{i}\left({\Delta {t}_{1},\Delta {t}_{2}\cdots \Delta {t}_{n}}\right)$ 为第 $i$ 个区间调整后牵引变电所在时刻表变化后的总能耗。

3.3.2 乘客出行时间

为了减少乘客平均出行时间,结合 2.2 节中式(9) 乘客总出行时间计算公式,将目标函数 ${f}_{2}$ 表示为

(13) ${f}_{2}\left({\Delta {t}_{1},\Delta {t}_{2}\cdots \Delta {t}_{n}}\right)= - F\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{j}$

式中, $\Delta {t}_{i}$ 为从第 $i$ 个站间运行时分在原计划时刻表上的变化量, $- F\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{j}$ 为所有区间乘客出行时间变化总和。

3.3.3 考虑乘客换乘等待时间与总运行时间

本研究以运行时刻表节能优化前后总运行时间、列车换乘衔接关系不变, 换乘时刻偏差、乘客换乘时间、乘客等待时间最小为优化目标,对节能时刻表优化计算做严格约束, 提高乘客出行舒适度, 实现节能时刻表无感切换。

为了限制列车到达换乘站和终点站时刻的变化值,利用目标函数 ${f}_{3}$ 对其进行表示

(14) ${f}_{3}\left({\Delta {t}_{1},\Delta {t}_{2}\cdots \Delta {t}_{n}}\right)= -\mathop{\sum }\limits_{{i = 0}}^{n}\left({{H}_{i}\left|{\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{i}}\right|}\right)$

式中, ${H}_{i}$ 为列车在 $i$ 站的换乘标记位,当此站为换乘站时值为 1 , 否则为 0 。

综上所述, 智能体每个回合内按照区间顺序依次从首站选择动作直到终点站,即每个回合动作 $n$ 步, 每一步动作选择决策的奖励函数为

(15) $ f\left({{s}_{i},\Delta {t}_{i}}\right)= -\left({{k}_{1}{E}_{i}\left({\Delta {t}_{i}}\right)+ {k}_{2}F\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{j}+ {k}_{3}{H}_{i}\left|{\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{j}}\right|}\right)$

式中, ${s}_{i}$ 为第 $i$ 个站台状态。各奖励函数归一化后,每回合的奖励函数为所有区间的奖励函数之和, 即

(16) $ f\left({s,{\Delta t}}\right)= -\mathop{\sum }\limits_{{i = 0}}^{n}\left({{k}_{1}{e}_{i}\left({\Delta {t}_{i}}\right)+ {k}_{2}{u}_{i}\Delta {t}_{i}+ {k}_{3}{H}_{i}\left|{\mathop{\sum }\limits_{{j = 0}}^{i}\Delta {t}_{j}}\right|}\right)$

式中, ${e}_{i}$ 表示归一化后的列车总能耗。

3.3.4 算法流程图

基于 DQN 算法的列车站间运行时分优化流程见图 5 。

1) 从经验池中选择数据组 $\left({{s}_{t},{a}_{t},{r}_{t},{s}_{t + 1},{F}_{t}}\right)$ ,将这组数据状态 ${s}_{t}$ 输入预测 $Q$ 网络计算得到这组数据的 $Q$ 值,通过 ${a}_{t}$ 找到对应的 $Q\left({{s}_{t},{a}_{t};\theta }\right)$ ,将这组数据状态 ${s}_{t + 1}$ 输入目标 $\mathrm{Q}$ 网络计算得到最大 $Q$ 值 $\mathop{\max }\limits_{{a}_{t + 1}}Q\left({{s}_{t + 1},{a}_{t + 1},{\theta }^{\prime }}\right)$ 。

2) 计算损失函数, 有

(17) $ y = E\left\lbrack {\left( r +\gamma \mathop{\max }\limits_{{a}^{\prime }}Q\left( s,{a}^{\prime };{\theta }^{- }\right)- Q\left( s, a;\theta \right)\right)}^{2}\right\rbrack $

式中, $\gamma$ 为折扣系数; $a$ 为 $\mathrm{Q}$ 网络预测输出所有动作; ${a}^{\prime }$ 为 $\mathrm{Q}$ 网络的输出所有动作; $\theta$ 为预测值 $\mathrm{Q}$ 网络参数; $\theta$ 为 $\theta$ 网络参数。另外,当 ${s}_{t + 1}$ 的标志位 ${F}_{t + 1}$ 为终止状态时, $\mathop{\max }\limits_{{a}_{t + 1}}Q\left({{s}_{t + 1},{a}_{t + 1},{\theta }^{\prime }}\right)$ 。

3) 预测 $\mathrm{Q}$ 网络的反向传播训练算法选取自适应时刻估计方法(adaptive moment estimation, Adam), 计算预测 $\mathrm{Q}$ 网络每个参数 $\theta$ 的自适应学习率,加快神经网络收敛,并对预测 $\mathrm{Q}$ 网络的参数 $\theta$ 进行更新 ^{[ 13 ]} 。

4) 目标 $\mathrm{Q}$ 网络采用反向传播训练算法选取均方根反向传播(RMSProp)方法,采用每 50 回合对目标 $\mathrm{Q}$ 网络参数 ${\theta }^{\prime }= \theta$ 进行周期迭代更新,提高计算速度,令 ${\theta }^{\prime }= {\theta }$^[143] 。

5) 神经网络激活函数。预测 $\mathrm{Q}$ 网络和目标 $\mathrm{Q}$ 网络的激活函数均选取 Leaky-RELU 函数, 带泄露修正线性单元(Leaky-RELU)函数是经典以及广泛使用的 RELU 激活函数的变体, 该函数输出对负值输入有很小的坡度 ^{[ 15 ]} 。

3.3.5 Dueling DQN 网络结构设计

为了加速 $\mathrm{{DQN}}$ 收敛,采用 Dueling DQN 算法。 Dueling DQN 通过将动作分解为目标 $Q$ 值计算和动作选择两步,可以消除 $Q$ 值过估计的问题。如图 6 所示, Dueling DQN 网络的输入与 DQN 相同,但是输出不同。 Dueling DQN 算法输出两个分支, 一个是该状态的状态价值 $V$ ,另一个是分支预测与状态相关的动作优势价值 $A$ 。两个分支合并得到每个动作的 $Q$ 值。计算公式为

(18) $ Q\left({s, a;\theta ,\alpha ,\beta }\right)= V\left({s,\theta ,\beta }\right)+ A\left({s, a;\theta ,\alpha }\right)$

式中, $a$ 是动作; $\alpha$ 为神经网络参数; $\alpha$ 和 $\beta$ 为全连接层参数, $\theta$ 为卷积层参数。在 Dueling DQN 中, $Q$ 值进行中心化处理,将优势价值 $A$ 表示为某个动作的优势价值减去该状态下所有优势价值的平均值, $Q$ 值表示输出下一次时刻表的调整时间。

(19) $ Q\left({s, a;\theta ,\alpha ,\beta }\right)= \\ V\left({s;\theta ,\beta }\right)+ \left({A\left({s, a;\theta ,\alpha }\right)- \frac{1}{\left| A\right|}\mathop{\sum }\limits_{{a}^{\prime }}A\left({s,{a}^{\prime };\theta ,\alpha }\right)}\right)$

4 实例分析

收起

以苏州轨道交通 4 号线为例, 对 Dueling DQN 算法优化区间运行时间,进行实验验证。

4.1 地铁实际线路数据

地铁公司实际提供线路数据如表 1 ~2 所示。

4.2 优化参数设计

结合实际线路数据, 设计优化仿真参数如表 3 所示。

4.3 优化结果分析

对全天运行图进行分析, 为了侧重节能设置式(15) 中 ${k}_{1}= 5$ ,为了适当减少乘客平均出行时间设置 ${k}_{2}= {0.2}$ , 为了保证总运行时间和到达换乘站时刻基本不变, 设置 ${k}_{3}= {0.2}$ 。

优化结果如图 7 ~9 所示。对比回合奖励曲线发现, 随机算法几乎不能收敛, 而在图 7 的其他 4 种算法中, 最优解相差不大, Dueling DQN 收敛得最快,约在 500 回合左右就能收敛。对比总牵引能耗曲线发现, 除了随机算法, 其他算法均可达到降低牵引能耗的目的,且能耗值趋于稳定,其中 Dueling DQN 降低能耗的效果最为明显。乘客平均出行时间均有所下降, 下降幅度在 $0 \sim 2\mathrm{\;s}$ 之间。最后整理上下行区间时间调整变化如图 10 所示, 优化列车区间运行时间发生变化, 但是保证列车时刻表在调整前后到达上下行末站时刻相同。

将 5 种算法的最优解统计成表 4 , 展示部分站台的到站时间偏差数据, 表 4 中全线回合总奖励指的是每回合一趟车每个站间的奖励函数之和。根据实验结果和表 4 统计, Dueling DQN 方法的效果最优, 其全线回合总奖励最大值为-51.6,能耗最小值为 ${105451}\mathrm{\;{kW}}\cdot \mathrm{h}$ , 比原时刻表的 ${116534}\mathrm{\;{kW}}\cdot \mathrm{h}$ 减少了 ${11083}\mathrm{\;{kW}}\cdot \mathrm{h}$ ,节能率达 9.5%。在到达换乘站时刻偏差不超过 $5\mathrm{\;s}$ 范围内和到达终点站时刻不变的情况下,乘客平均出行时间减少了 1.02 s。

4.4 实验结果分析

2022 年 10 月, 项目组采用上述方案, 对苏州轨道交通 4 号线进行优化时刻表节能对比试验。节能对比结果如表 5 , 在保证调整前后全线总运行时间保持不变的情况下,相对于原始时刻表,优化时刻表牵引总表计日能耗下降 5.27%,车公里能耗下降 4.99%。

5 结论

收起

本研究设计了一种基于 Dueling DQN 算法和地铁供电系统潮流计算模型相结合的列车区间运行时间优化方法, 根据动态客流建立了实时客流时空分布统计模型, 综合考虑地铁运营公司的节能优化和乘客的乘车体验, 设计多目标优化函数。采用马尔可夫决策过程设计了深度强化学习算法, 对线路实际运行图、动态客流进行离线和在线学习, 在总列车运行时间、换乘衔接、换乘时间不变、乘客换乘时间、出行时间和时刻表变动最小等多约束情况下优化列车区间运行时间,实现节能运行图自动编制。最后基于苏州轨道交通 4 号线列车进行了优化仿真和实验, 优化后在保证列车全线区间运行时间不变的情况下可降低 5.27%的牵引能耗, 验证了算法有效性。

基金

收起

国家自然科学基金(52072214)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

聂涔, 杨冬营, 易思蓉, 等. 巡航模式下地铁纵断面节能坡优化研究[J]. 都市快轨交通, 2023, 36(3): 82-90.

NIE

Cen

, YANG

Dongying

, YI

Sirong

, et al. Energy-saving slop optimization of metro profile in cruising mode[J]. Urban rapid rail transit, 2023, 36(3): 82-90.

[2]

ZHANG

Huiru

, JIA

Limin

, WANG

, et al . Energy consumption optimization of train operation for railway systems: algorithm development and real-world case study[J]. Journal of cleaner production, 2019, 214: 1024-1037.

[3]

吴承泽. 基于深度强化学习的城市轨道交通列车节能优化研究[D]. 南京: 南京理工大学, 2022.

Chengze

. Research on Energy Saving Optimization of Urban Rail Transit Trains Based on Deep Reinforcement Learning[D]. Nanjing: Nanjing University of Science and Technology, 2022.

[4]

沙森, 张可心, 刘志刚, 等. 基于目标速度追踪的城轨列车节能优化算法[J]. 都市快轨交通, 2023, 36(6): 40-48.

SHA

Miao

, ZHANG

Kexin

, LIU

Zhigang

, et al. Energy-saving optimization algorithm of urban rail train based on target speed tracking[J]. Urban rapid rail transit, 2023, 36(6): 40-48.

[5]

CHEN

, FENG

Xiaoyun

, WANG

Qingyuan

, et al . Cooperative eco-driving of multi-train under de traction network[J]. IEEE transactions on transportation electrification, 2021, 7(3): 1805-1821.

[6]

SUN

Xubin

, YAO

Zemin

, DONG

Chunjiao

, et al . Optimal control strategies for metro trains to use the regenerative braking energy: a speed profile adjustment approach[J]. IEEE transactions on intelligent transportation systems, 2023, 24(6): 5883-5894.

[7]

CAROTENUTO

, GIORDANI

, RICCIARDELLI

. Finding minimum and equitable risk routes for hazmat shipments[J]. Computers & operations research, 2007, 34(5): 1304-1327.

[8]

Jianjun

, LIU

Muhan

, SUN

Huijun

, et al . Equity-based timetable synchronization optimization in urban subway network[J]. Transportation research part C: emerging technologies, 2015, 51: 1-18.

[9]

HASSANNAYEBI

, ZEGORDI

S H

, AMIN-NASERI

, et al . Demand-oriented timetable design for urban rail transit under stochastic demand[J]. Journal of industrial and systems engineering, 2016, 9: 28-56.

[10]

LIU

Xiaoyu

, DABIRI

, WANG

Yihui

, et al . Modeling and efficient passenger-oriented control for urban rail transit networks[J]. IEEE transactions on intelligent transportation systems, 2023, 24(3): 3325-3338.

[11]

YIN

Jiateng

, YANG

Lixing

, TANG

Tao

, et al . Dynamic passenger demand oriented metro train scheduling with energy-efficiency and waiting time minimization: mixed-integer linear programming approaches[J]. Transportation research part B: methodological, 2017, 97: 182-213.

[12]

陈磊, 段晓宇, 柏赟. 城市轨道交通跨线列车开行方案优化研究[J]. 都市快轨交通, 2023, 36(3): 59-64.

CHEN

Lei

, DUAN

Xiaoyu

, BAI

Yun

. Optimizing cross-line train service planning in urban rail transit network[J]. Urban rapid rail transit, 2023, 36(3): 59-64.

[13]

VIEILLARD

, PIETQUIN

, GEIST

. Munchausen reinforcement learning[J]. Advances in neural information processing systems, 2020, 33: 4235-4246.

[14]

Dongpo

, ZHANG

Shengdong

, ZHANG

Huisheng

, et al . Convergence of the RMSProp deep learning method with penalty for nonconvex optimization[J]. Neural networks, 2021, 139: 17-23.

[15]

Jin

, LI

Zishan

, DU

Bowen

, et al . Reluplex made more practical: leaky ReLU[C]// 2020 IEEE Symposium on Computers and Communications (ISCC). Rennes, France. IEEE, 2020: 1-7.

2024年第37卷第2期

PDF下载

390

203

引用本文

BibTeX

文章信息

doi: 10.3969/j.issn.1672-6073.2024.02.006

接收时间：2023-07-04
首发时间：2025-07-09

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2023-07-04
修回日期：2024-01-04

基金

国家自然科学基金(52072214)

作者信息

¹ 苏州市轨道交通集团有限公司运营管理中心江苏苏州 215101

² 南京理工大学南京 210014

通讯作者:

胡文斌，男，博士，副教授，主要从事轨道交通节能研究，hwb_njust@163.com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/dskgjt/CN/10.3969/j.issn.1672-6073.2024.02.006

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

参数名称	参数大小
线路总长/m	41 262
线路车站数量/座	31
线路在线列车数	45
全天运行列次	336
接触网单位电阻/(mΩ/km)	0.004 5
走行轨单位电阻/(mΩ/km)	0.001 37

参数名称

参数大小

线路总长/m

41 262

线路车站数量/座

线路在线列车数

全天运行列次

336

接触网单位电阻/(mΩ/km)

0.004 5

走行轨单位电阻/(mΩ/km)

0.001 37

参数名称	参数大小
列车编组	6 辆编组,4 动 2 拖
列车质量/t	动车:39；拖车:35
回转质量系数	0.1
逆变器效率	0.98
电机效率	0.95
风阻系数	0.165
正常牵引网压/V	1 500

参数名称

参数大小

列车编组

6 辆编组,4 动 2 拖

列车质量/t

动车:39；拖车:35

回转质量系数

0.1

逆变器效率

0.98

电机效率

0.95

风阻系数

0.165

正常牵引网压/V

1 500

参数类型	参数大小
神经网络输入层神经元数	4
神经网络隐藏层层数	2
神经网络隐藏层 1 神经元数	128
神经网络隐藏层2神经元数	128
神经网络输出层神经元数	21
神经网络激活函数	Leaky-RELU
神经网络反向传播训练算法	Adam、RMSProp
区间运行时间可调范围	$- {10} \sim {10}\mathrm{\;s}$
区间运行时间调整间隔	1 s
Dueling DQN 算法折扣系数	0.8
Dueling DQN 算法贪婪系数	0.9~0.1

参数类型

参数大小

神经网络输入层神经元数

神经网络隐藏层层数

神经网络隐藏层 1 神经元数

128

神经网络隐藏层2神经元数

128

神经网络输出层神经元数

神经网络激活函数

Leaky-RELU

神经网络反向传播训练算法

Adam、RMSProp

区间运行时间可调范围

$- {10} \sim {10}\mathrm{\;s}$

区间运行时间调整间隔

1 s

Dueling DQN 算法折扣系数

0.8

Dueling DQN 算法贪婪系数

0.9~0.1

	Random	DQN	Dueling- DQN	Double- DQN	Dueling- DDQN
回合总奖励	-60.32	-53.2	-51.6	-50.1	-51.4
列车全线总牵引能耗/kW·h	113 263	106 343	105 451	106 345	106 542
乘客平均出行时间变化量/s	-1.27	$- {0.993}\;3$	-1.021	-1.4484	-1.251
SHDLZ 站到达时间偏差/s	2	1	0	0	1
NMZ 站到达时间偏差/s	1	-3	-2	-1	0
$\mathrm{{LQZ}}$ 站到达时间偏差/s	2	0	0	1	0
SHDLZ 站到达时间偏差/s	-2	2	0	-1	2

Random

DQN

Dueling- DQN

Double- DQN

Dueling- DDQN

回合总奖励

-60.32

-53.2

-51.6

-50.1

-51.4

列车全线总牵引能耗/kW·h

113 263

106 343

105 451

106 345

106 542

乘客平均出行时间变化量/s

-1.27

$- {0.993}\;3$

-1.021

-1.4484

-1.251

SHDLZ 站到达时间偏差/s

NMZ 站到达时间偏差/s

-3

-2

-1

$\mathrm{{LQZ}}$ 站到达时间偏差/s

SHDLZ 站到达时间偏差/s

-2

-1

行向	优化前	优化后	变化量	变化率1%
平均上行时间/s	3 103	3102	-1	-0.03
平均下行时间/s	3 103	3100	-3	-0.09
全线时间总计/s	6 206	6 202	-4	-0.06
全天牵引能耗总计 (仿真)/kW·h	116 534	105 451	-11083	-9.5
全天牵引能耗总计 (实测)/kW·h	115 214	109 143	-6071	-5.27
车公里能耗(实测)/ (kW·h/km)	1.242	1.180	-0.062	-4.99

行向

优化前

优化后

变化量

变化率1%

平均上行时间/s

3 103

3102

-1

-0.03

平均下行时间/s

3 103

3100

-3

-0.09

全线时间总计/s

6 206

6 202

-4

-0.06

全天牵引能耗总计 (仿真)/kW·h

116 534

105 451

-11083

-9.5

全天牵引能耗总计 (实测)/kW·h

115 214

109 143

-6071

-5.27

车公里能耗(实测)/ (kW·h/km)

1.242

1.180

-0.062

-4.99