水利学报

结构设计	演员网络	评论网络
输入层	状态	状态，动作
第一隐层神经元数	256	256
第一隐层激活函数	ReLu	ReLu
第一隐层噪声	高斯噪声
第二隐层神经元数	256	256
第二隐层激活函数	ReLu	ReLu
第二隐层噪声	高斯噪声
输出层	动作	Q值
输出层维度	2	2
输出层激活函数	Tanh	ReLu

结构设计	演员网络	评论网络
输入层	状态	状态，动作
第一隐层神经元数	256	256
第一隐层激活函数	ReLu	ReLu
第一隐层噪声	高斯噪声
第二隐层神经元数	256	256
第二隐层激活函数	ReLu	ReLu
第二隐层噪声	高斯噪声
输出层	动作	Q值
输出层维度	2	2
输出层激活函数	Tanh	ReLu

	I₁/%	东黄埠节制闸	入吴沟河节制闸
场景1	48100.00	20.00	34.42	0.30	1.40	56.23	0.52	2.08
场景2	1800.00	21.43	43.42	0.37	0.84	49.81	0.44	3.98
场景3	723.08	8.94	21.43	0.09	3.36	14.86	0.06	5.32

	I₁/%	东黄埠节制闸	入吴沟河节制闸
场景1	48100.00	20.00	34.42	0.30	1.40	56.23	0.52	2.08
场景2	1800.00	21.43	43.42	0.37	0.84	49.81	0.44	3.98
场景3	723.08	8.94	21.43	0.09	3.36	14.86	0.06	5.32

冰期分水扰动下调水工程明渠闸泵群实时智能调度研究

PDF下载

甘甜 ¹^,² , 王超 ²^,³ , 蒋云钟 ²^,³

水利学报 | 第二十八届中国科协年会学术论文 2026,57(5): 796-808

收起

水利学报 |第二十八届中国科协年会学术论文 2026 , 57 (5) : 796 -808

冰期分水扰动下调水工程明渠闸泵群实时智能调度研究

全屏

甘甜¹^,², 王超²^,³, 蒋云钟²^,³

作者信息

^1.长江科学院水力学研究所，湖北武汉 430010

^2.中国水利水电科学研究院，北京 100038

^3.水利部数字孪生流域重点实验室，北京 100038

通讯作者:

王超（1989—），博士，正高级工程师，主要从事水资源优化调度及水利信息化研究。E-mail：wangchao@iwhr．com

Real-time intelligent regulation of gate-pump groups in open channels of water transfer projects under water diversion disturbances during the icing period

Tian GAN¹^,², Chao WANG²^,³, Yunzhong JIANG²^,³

Affiliations

^1.Department of Hydraulics，Yangtze River Scientific Research Institute，Wuhan 430010，China

^2.China Institute of Water Resources and Hydropower Research，Beijing 100038，China

^3.Key Laboratory of River Basin Digital Twinning of Ministry of Water Resources，Beijing 100038，China

出版时间: 2026-05-20 doi: 10.3724/j.slxb.20250556

文章导航

摘要

收起

针对现有调度模型难以有效应对冰期分水扰动下调水工程明渠段水力过程的高维非线性，实际调度高度依赖人工经验的问题，本文以胶东调水工程王耨-入吴沟河段为例，进行明渠闸泵群实时智能调度研究。通过一维闸泵群水动力学仿真，对渠池分水量施加阶跃扰动，明晰了不同分水扰动下明渠水力过程与闸泵群调度响应之间的耦合机制，提炼出冰期分水扰动安全阈值。在此基础上，选择善于处理非线性、高维性问题且无需较多建模数据的深度强化学习算法耦合水力学模型构建了明渠闸泵群实时智能调度模型，并在不同工况下验证模型鲁棒性。应用结果表明，所得调度方案能在保障工程运行安全、降低闸门调节次数的前提下，有效抬高控制断面水位稳定至冰期控制水位。

关键词

明渠调水工程 / 闸泵群调度 / 强化学习 / 分水扰动安全阈值

Abstract

收起

To overcome the limitations of existing research in effectively addressing the high-dimensional and nonlinear hydraulic processes in open-channel sections of water transfer projects under water diversion disturbances during the icing period， and the high reliance on manual experience in actual operations， this study takes the Wangnou-ruwugou section of the Jiaodong Water Transfer Project as a case study to investigate real-time intelligent hydraulic regulation of gate-pump groups in open channels. Through one-dimensional hydrodynamic simulations of gate-pump groups， step disturbances were applied to the diversion flows of canal pools to reveal the coupling mechanism between hydraulic processes in open channels and the operational responses of gate-pump groups under various diversion disturbances， and thus determine safety thresholds for water diversion disturbances during the icing period. On this basis， a real-time intelligent regulation model for gate-pump groups in open channels was developed by coupling a hydraulic model with a deep reinforcement learning algorithm， which excels at handling nonlinear， high-dimensional problems and requires minimal modeling data. The robustness of the proposed model was validated under various operational conditions. Application results demonstrate that the derived scheduling strategy effectively raises and stabilizes the water level at control sections to the target ice-period regulation level while ensuring operational safety and reducing the gate adjustment frequency.

Key words

open-channel water transfer project / regulation of gate-pump groups / reinforcement learning / safety threshold for water diversion disturbance

引用本文

甘甜, 王超, 蒋云钟. 冰期分水扰动下调水工程明渠闸泵群实时智能调度研究. 水利学报, 2026 , 57 (5) : 796 -808 . DOI: 10.3724/j.slxb.20250556

Tian GAN, Chao WANG, Yunzhong JIANG. Real-time intelligent regulation of gate-pump groups in open channels of water transfer projects under water diversion disturbances during the icing period[J]. Journal of Hydraulic Engineering, 2026 , 57 (5) : 796 -808 . DOI: 10.3724/j.slxb.20250556

正文

收起

1 研究背景

收起

调水工程明渠多为人工挖掘，与天然河道相比渠池蓄量更小，调控区间范围更小，对实时调度精度要求更高^［1］。明渠沿线常分布有节制闸、泵站与众多分水口^［2］，渠道水力过程具有非线性、强时滞性、高耦合性、高维性与时变性等特点，在冰期分水扰动下尤为明显^［3］，实时调度难度高。过去我国明渠调水工程闸泵群调度工作多基于管理人员的人工经验进行现场调度，难以应对各种复杂多变的输水情况，充分保障工程运行安全^［4］，智慧化水平有待提高。

现阶段明渠实时调度方法可以大致划分为单输入-单输出（Single Input Single Out，SISO）模式和多输入-多输出（Multiple Input Multiple Out，MIMO）模式^［5］。SISO根据单个水位输入调度单个闸门，比例积分（Proportional-Integral，PI）控制方法是一种传统的SISO闸控算法，通过转化函数对多变量函数进行简化，具有实现简单与可靠性高等优点，但其参数间相互影响，整体调节困难。现阶段研究主要聚焦于对算法参数的确定与处理，常见的PI参数优化方法包括基于线性矩阵不等式的参数优化方法^［6］、基于线性二次调节器（Linear Quadratic Regulator，LQR）算法确定关键参数的方法^［7］、自动调谐变化方法^［8］、频率响应方法^［9］、优化理论^［10］与神经网络算法^［11］等。MIMO模式可实现从单闸门调度向多闸门调度的演进，其中，LQR算法的目标是设计一个最优控制律，使得由系统状态和控制输入共同构成的二次型成本函数最小化。在线性调度系统中，LQR的适用性较强且调度效果较好^［12］。对于非线性系统，董蓉等^［13］针对自动驾驶车辆控制问题，采用非线性递减权值粒子群算法，基于二自由度车辆动力学仿真，构建了横向跟踪误差模型，消除了LQR稳态误差。许一航等^［14］提出了带非线性补偿环节的LQR反馈控制方法，对非线性的重力矩扰动具有很强的抑制作用，其控制器能稳定实现水下机器人六自由度状态跟踪。MIMO模式的另一种典型代表模型预测控制（Model Predictive Control，MPC）算法是一种结合了控制理论、优化方法和数学建模的控制技术，能考虑分水扰动信息，并将已知的扰动作为前馈输入。针对传统MPC无法考虑闸门调节次数限制的问题，Kong等^［15］引入流量调整惩罚量，以南水北调中线工程为例，基于积分时滞模型（Integral Delay，ID模型），构造了多目标渠池MPC模型，能在保持水位调度效果的同时有效降低闸门调节次数。MPC算法中明渠状态预测一般采用ID模型^［5］，因其为圣维南方程组在稳定点附近线性化推导所得，理论上只适用于分水口位于渠段下游的小范围工况，且参数率定困难^［5］。管光华等^［16］针对MPC算法的ID模型建模时常假定分水口均位于渠段下游尾端的弊端，提出了分水口位于上游段渠池的广义ID模型，以南水北调中线渠段为例进行仿真验证，增强了模型的适用性。刘晋龙等^［17］针对灌区渠道分水扰动下，ID模型参数率定难度高的问题，提出基于分段积分时滞模型的MPC，有效提高了模型控制精度。

现阶段明渠调度算法研究取得了一定的成果，但仍存在一些技术难点需深入研究。1）适用范围方面：从原理上分析，传统的PI、LQR与MPC算法均更适用于解决线性问题，对非线性问题需通过参数优化或函数转换等方法增强适用性；2）计算精度方面：现阶段调度算法对非线性场景适用性不足导致渠段精细化建模难度大^［18］；3）计算维度方面：既往研究中提取的数据信息维度较少，在高维数据的提取方面存在欠缺^［19］，而调水工程明渠闸泵群调度过程涉及流量、分水量、水位与闸门组合等高维数据信息，如何根据历史数据构建自学习模型，进行调度过程自学习与自适应是一大研究挑战；4）数据需求方面：随着计算机技术的迅速发展，基于数据驱动的深度学习等算法开始广泛应用，相对于传统算法展现出较高的准确性与计算效率，且建模过程更为简单^［20］。而对部分缺少完善资料的调水工程而言，构建数据驱动模型和物理模型均面临挑战。

深度强化学习具有自学习、自适应特点，能很好地处理非线性、高维度问题，且无需较多建模数据，能较好地解决上述问题，已逐渐成为众多领域的研究热点，在水资源配置^［21］、水库调度^［22］与水库群调度^［23］等领域已开始崭露头角，但在明渠闸泵群冰期实时调度研究中仅处于尝试阶段^［24］，系统的应用案例较少。针对以上难点，本研究可解决以下问题：（1）通过一维闸泵群水动力模拟仿真，对渠池分水量施加阶跃扰动，明晰不同分水扰动下非线性的明渠水力过程与高维度的闸泵群调度响应之间的耦合机制，提炼冰期分水扰动安全阈值；（2）耦合深度强化学习算法与水动力模型，构建了基于深度强化学习的明渠闸泵群实时智能调度模型。本文模型克服了以往调度方法对非线性场景适用性不强、实际调度高度依赖人工经验的局限性，能有效在降低闸控频率的同时，保障水力调度的精确性与安全性。

2 研究理论与方法

收起

首先基于HEC-RAS软件构建一维闸泵群水动力模型，对调水工程运行中可能发生的分水扰动情况进行模拟仿真，计算不同程度扰动下控制断面水位变化过程，反向推求输水系统在不同工况下能够承受的扰动阈值。在此基础上，耦合深度强化学习算法与水动力模型，构建基于深度强化学习的明渠闸泵群实时智能调度模型，进行冰期分水扰动下调水工程明渠闸泵群实时智能调度研究。

2.1 调水工程分水扰动安全阈值分析方法

在上、下游边界和节制闸开度确定的条件下，当分水流量增加时，控制断面水位迅速下降，之后逐渐稳定。在实现控制目标的前提下，为降低不必要的闸门调节次数，通过试算法^［25］确定分水扰动安全阈值，如图1所示。

2.2 调水工程明渠闸泵群实时智能调度方法

强化学习是一种基于智能体与环境的交互，通过尝试各种动作并根据生成结果进行行为策略优化，从而实现最大化累积奖励的学习方法^［26］。

（1）马尔可夫决策过程建模。对于完全可观测的环境模块，可以用马尔科夫决策过程描述强化学习问题，用五元组表示如式（1）所示^［23］。

< S, A, P, R, γ >

（1）

式中：S为状态空间；A为动作空间；P为动作状态转移概率矩阵；R为奖励值；γ为状态间折扣因子。

为使智能体探寻最优策略，需通过奖励机制引导智能体动作选取，智能体以实现最大化累积奖励G的期望值为目标，根据奖励值积极调整其策略，逐步接近最优策略。状态价值函数v（s）与动作价值函数q（s，a）是常见的奖励值评价函数，分别如式（2）（3）所示。最佳策略是指智能体在任何状态下，采用该策略与环境互动时，所累积的奖励超过其他所有策略，记为π^∗。最优状态价值v^*（s）函数与最优动作价值函数q^*（s，a）分别如式（4）（5）所示。此时，确定最佳策略可以通过求解最优状态价值函数或动作价值的函数实现。由于每个策略都关联着一个从状态到动作的概率分布，即便智能体遵循同一策略，在相同状态下，所采取的动作也会有所差异。为确保智能体在遵循最优策略，可采用greedy算法或ε-greedy算法最大化动作价值函数。

v (s) = E [G t | S t = s] = E [R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . . | S t = s] = E [R t + 1 + γ (R t + 2 + γ R t + 3 + . . .) | S t = s] = E [R t + 1 + γ G t + 1 | S t = s] = E [R t + 1 | S t = s] + γ E [G t + 1 | S t = s]

（2）

q (s, a) = E [G t | A t = a, S t = s] = E [R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . . | A t = a, S = t s] = E [R t + 1 + γ (R t + 2 + γ R t + 3 + . . .) | A t = a, S = t s] = E [R t + 1 + γ G t + 1 | A t = a, S t = s] = E [R t + 1 | A t = a, S t = s] + γ E [G t + 1 | A t = a, S t = s]

（3）

v * (s) = m a x v π (s)

（4）

q * (s, a) = m a x q π (s, a)

（5）

式中：v（s）为状态价值函数；E为期望；G_t为第t步累积奖励；S_t为第t步状态；A_t为第t步动作；q（s，a）为动作价值函数。

（2）强化学习算法选择。强化学习算法的分类及在水利领域中的应用如图2所示。

由于闸门开度和运行条件需要不断进行调整，是连续性的过程，值与策略相结合的方法是实现明渠闸泵群实时智能调度的合适选择。DDPG（Deep Deterministic Policy Gradient）算法是典型代表，具有较强的非线性和高维建模能力，并具有优异的泛化能力及较强的适用性。

（3）DDPG算法。DDPG使用神经网络模型直接对连续动作进行建模，从而在连续动作空间中表现出优异的性能和泛化能力。为清除序列的相关性，DDPG构建了经验池用以存储智能体的执行动作，后续训练时随机样本从经验池中抽取，称为经验重放机制。此外，DDPG是基于演员-评论家体系结构设计的，演员网络负责产生动作，评论网络负责评估动作的优劣。演员-评论家协作以实现动作的产生与优化，从而在搜索最优策略时实现更好的收敛，使算法适用于复杂的动态环境。DDPG训练过程中同时使用主演员网络（main actor network μ（s|θ^μ））、目标演员网络（target actor network μ（s|θ

μ'

））、主评论网络（main critic network Q（s，a|θ^Q））与目标评论网络（target critic network Q（s，a|θ

Q'

））。随着训练的进行，目标网络逐渐逼近主网络参数，使智能体能够从环境中学习更好的策略。此收敛过程是通过软更新完成的，采用软更新的目的是提高训练稳定性。在初始阶段，较大的噪声值允许智能体进行更多的探索，产生尽可能多的动作探索空间，防止算法陷入局部最优。噪声随着迭代的进行逐渐减少，使算法更多地依赖于当前的最优策略，从而提高算法效率与收敛速度。DDPG算法的框架如图3所示。

（4）基于深度强化学习的明渠闸泵群实时智能调度模型构建。深度强化学习算法可以根据智能体与环境的交互过程，描述明渠实时调度问题，见图4所示。

此时，智能体动作为调度方案，如闸门开度等；奖励为调度方案的评价，若闸门开度趋于满足调度目标，则奖励提高，反之，则奖励降低；状态为水力过程，如流量、水位等。

3 应用案例研究

收起

3.1 研究区域概况及数据来源

胶东调水工程由引黄济青工程、引黄调水工程与黄水东调工程组成，是国家南水北调东线工程的重要组成部分^［27］，从山东省滨州市打渔张引黄闸引黄河水，输送至威海市米山水库，与南水北调东线山东段其他工程共同形成南北贯通、东西互济的“T”字型调水大动脉^［28］。以胶东调水工程王耨-入吴沟明渠段为例进行案例研究。典型渠段包含王耨泵站、引黄济峡分水口、淮河滩地分水口、东黄埠节制闸与入吴沟河节制闸，研究区域地理位置见图5所示。其中，引黄济峡分水口、淮河滩地分水口设计分水流量分别为20.5、10 m³/s。

规划断面数据、渠段糙率、水工建筑物相关数据、实测的渠段配水量数据、水位、流量、分水量数据与冰情数据均由山东省调水工程运行维护中心提供。

3.2 分水扰动安全阈值分析

构建HEC-RAS水动力模型，在冰盖模块（ice cover）添加冰情信息，计算分水扰动下控制断面水位变化，分析分水扰动安全阈值，见图6所示。其中，东黄埠节制闸的闸前断面为控制断面1，入吴沟河节制闸的闸前断面为控制断面2。

3.3 调水工程明渠闸泵群实时智能调度

构建调水工程明渠闸泵群实时智能调度模型，在分水量大于安全分水阈值时，以保障控制断面水位稳定在冰期控制水位为目标，进行明渠闸泵群实时智能调度。

（1）环境模块建立：环境的主要功能是连接深度强化学习算法与HEC-RAS水动力学模型，为深度强化学习算法提供基础环境。深度强化学习的智能体综合状态函数（即水力信息）、调度策略（即调度方案）选择动作（即闸门开度）输入至环境模块，并从水动力模型中读取相关信息。基于水动力模型计算下一时刻的更新状态与调度目标的对比设置奖励函数接收反馈，为调度方案的更新提供方向性判断，直至达到结束条件。环境模块的创建包括以下步骤：

步骤1：HEC-RAS的读取。即读取HEC-RAS文件，并向深度强化学习算法提供当前状态下的水力信息。

步骤2：闸门开度的修改。即提取与修改闸门开度。

步骤3：水力模型操作。即修改HEC-RAS非恒定流文件。

步骤4：结果输出。即读取HEC-RAS软件结果文件，获取下一时刻的水位、流量等水力信息，根据奖励函数计算奖励，并向深度强化学习算法提供反馈。

步骤5：水动力模型保存。即在运行结束后保存水动力模型。

（2）智能体建立：智能体由一系列策略与动作组成，策略代表当前时刻对动作分布的估计。在动作选择中采用了噪声策略，最终使得智能体的动作选择在探索与充分利用之间取得平衡。对于胶东调水工程王耨泵站-入吴沟河明渠段，智能体的动作为两节制闸的闸门开度，是本研究的决策变量。

（3）状态函数设置：在深度强化学习中，状态函数描述智能体在当前时刻的水力信息（水位、流量等）。本文选取当前时刻控制断面的水位、流量作为状态。通过在HEC-RAS水动力学模型中设置一定的状态转换时间步长，可以将前一时刻的状态信息传输到下一时刻。

（4）奖励函数设置：调度目标为保障控制断面水位L_q稳定在冰期控制水位L_g，确保工程的运行安全，即min｛abs（L_q-L_g）｝。因此，奖励函数被定义为f=k₁-k₂×abs（L_q-L_g）^K。其中，k₁、k₂和K均为待调节的模型常参数。若水力状态超过约束条件，将在奖励函数中分配一个较大惩罚值。包括水位约束：水位变化速度不超过0.30 m/d；流量约束：闸门过闸流量Q_i（i=1，2）不超过其设计值Q_d_i，即，Q_i<Q_d_i。此外，本研究引入了基线以加快深度强化学习算法的收敛速度，给予奖励函数一个正基线，当调度效果理想时，奖励函数为正值，否则，奖励函数为负值。综上，奖励函数设置如式（6）所示。

f = 50, a b s (L q 1 - L g 1) K + a b s (L q 2 - L g 2) K ≤ 0.1 10,0.1 < a b s (L q 1 - L g 1) K + a b s (L q 2 - L g 2) K ≤ 0.2 0,0.2 < a b s (L q 1 - L g 1) K + a b s (L q 2 - L g 2) K ≤ 0.4 - 10,0.4 < a b s (L q 1 - L g 1) K + a b s (L q 2 - L g 2) K ≤ 0.6 - 50, a b s (L q 1 - L g 1) K + a b s (L q 2 - L g 2) K > 0.6 - 50, 水位 的变 化速 度快, 超过 0.30 m / d - 50, Q 1 > Q d 1 或 Q 2 > Q d 2

（6）

式中：L_q1、L_q2分别为东黄埠节制闸、入吴沟河节制闸的闸前水位，m；L_g1、L_g2分别为东黄埠节制闸、入吴沟河节制闸的冰期控制水位，m。

（5）模型设置。模型网络结构设计：本研究中DDPG算法演员、评论网络架构设置见表1所示。

模型超参数设计：合理的超参数设置能增强DDPG算法的计算效率，有利于智能体在复杂环境中进行有效地探索，加快最优策略的确定，促进算法收敛。然而，目前超参数缺乏统一的设置标准，往往根据经验和实验确定^［29］。DDPG算法主要超参数包括学习率、软转换更新因子τ、噪声值、经验池容量D、折扣因子γ以及奖励函数的幂K。本研究首先采用SOBOL方法分析各个参数对目标函数的灵敏度，分析认为噪声值和学习率对DDPG算法的影响最大，γ和K的影响中等，τ和D的影响较弱。然后选择噪声值、学习率、γ和K进行参数试算，最终确定演员网络、评论网络学习率为0.0001，初始噪声值为0.1，终止噪声值为0.001，噪声下降因子为0.999，γ为0.98，线性奖励函数K为1。试算过程见文献［24］。

（6）评价指标设置：调度目标为抬高控制断面水位至冰期控制水位，保障水位稳定，以保障冰期运行安全。此时，深度强化学习算法的输出结果可通过奖励值提高度（记为I₁，%）、水位抬高程度（记为I₂，cm）、水位抬高率（记为I₃，%）与水位变化标准差（记为I₄，cm）等指标进行评估，分别如式（7）—（10）所示。

I 1 = 100 [(R M - R m) / R m]

（7）

I 2 = ∑ t = 1 T [(L q i, t - L q i 0, t) / T], i = 1,2

（8）

I 3 = 100 [∑ t = 1 T (L q i, t - L q i 0, t) / ∑ t = 1 T L q i 0, t], i = 1,2

（9）

I 4 = S T D i, i = 1,2

（10）

式中：R_m为奖励函数最小值；R_M为奖励函数最大值；T为调度期时长，h；i=1，2分别表示东黄埠节制闸、入吴沟河节制闸；L_q_i，t为t时刻实时调度方案下第i闸的闸前控制断面水位，cm；L_q_i₀_，t为t时刻原方案下控制断面水位，cm；STD_i为实时调度方案下第i闸的闸前控制断面水位变化标准差，cm。

（7）经验池设计：为了使神经网络达到最佳性能，有必要生成有针对性的训练样本。根据实测的水力数据，在训练过程中构建经验池时，本研究同时使用正采样和负采样以避免“维数灾”和过拟合，促进模型收敛和值函数估计。

4 结果与分析讨论

收起

根据实际工程需求及《胶东调水工程管理条例》，闸门调节频率为2 h，选取调度历时24 ~ 48 h的调度场次进行分析。当分水量大于分水扰动安全阈值时进行实时智能调度。

4.1 结果

以2021-01-31 T 0：00—2021-02-01 T 0：00为典型研究场景进行研究实例分析，其水位、流量等水力信息如图7所示。

通过所构建的明渠闸泵群实时智能调度模型调控闸门开度，以抬高控制断面水位至冰期控制水位为调度目标，调度结果如图8所示。其中，1次迭代的调度历时为24 h，闸门开度根据第300次迭代结果得出，水位变化显示第295—300次迭代结果。

由图8可知，DDPG深度强化学习算法的奖励函数能较好地收敛（图8（a）），经明渠实时智能调度，能较好地实现冰期水位平稳上升的调度目标，控制断面水位明显抬升至冰期控制水位，且水位波动较为稳定（图8（d）（e））。

4.2 鲁棒性分析

选取2022-01-04 T 0：00—2022-01-05 T 0：00、2021-02-22 T 0：00—2021-02-23 T 0：00与2022-12-16 T 0：00—2022-12-18 T 0：00记为场景1—3，进行鲁棒性分析，调度结果分别见图9—11所示，调度方案评价见表2所示。

4.3 讨论

（1）模型调度效果分析：深度强化学习算法与水动力模型耦合效果较好，智能调度模型可在冰期分水扰动下，将控制断面水位抬高至冰期控制水位（控制断面1、2的抬高程度分别为21.43 ~ 43.42 cm、14.86 ~ 56.23 cm，水位抬高率分别为0.09% ~ 0.30%、0.06% ~ 0.52%），使控制断面水位趋于稳定（控制断面1、2的水位变化标准差分别为0.84 ~ 3.36 cm、2.08 ~ 5.32 cm）。

（2）模型适用性讨论：深度强化学习通过智能体与环境交互学习策略，智能体可以在动态和不确定的环境中改进策略，算法具有很强的适用性。得益于其深度神经网络结构，深度强化学习算法适宜于处理具有非线性、强时滞性、高耦合性、高维性与时变性等特征的明渠实时调度问题，可用于调度领域高维多变量协同优化。此外，深度强化学习算法不需要大量的预标注训练数据，而是通过与相应环境交互不断学习获取最佳策略，使得算法也适用于数据缺乏场景。本研究使用的数据仅限于胶东调水工程典型明渠段，但研究思路也适用于其他调水工程相关场景。

（3）促进DDPG算法收敛的方法：因DDPG算法涉及多神经网络协同计算，加快算法收敛是模型构建的重点工作。根据建模经验，针对性生成经验池、将先验知识嵌入神经网络、奖励函数的基线设置、合理的噪声值设置与合适的信息维度和网络的张量结构设计能加速算法收敛。

（4）模型应用展望：根据水利部颁发的《数字孪生流域建设技术大纲》，构建调水工程调度方案历史场景库对支撑历史关键过程及主要应对措施的复盘工作，具有非常重要的研究意义。未来可收集工程历史调度方案，根据调度方案评价指标划分正负样本存储，对于不满足评价指标的调度方案标注为负样本，计算并存储其优化调度方案。

5 结论

收起

本研究以胶东调水工程典型明渠为例，耦合深度强化学习算法与一维闸泵群水动力模型，进行冰期分水扰动下调水工程明渠闸泵群实时智能调度研究，得到以下结论：

（1）深度强化学习算法能克服现有调度算法在明渠闸泵群实时调度领域的应用局限性。渠道水力过程具有非线性、强时滞性、高耦合性、高维性与时变性等特点，在冰期分水扰动下尤为明显。而现有调度方法难以适应非线性问题，且难以从高维度数据中提取有效信息。深度强化学习算法较现有调度方法更适合处理非线性、高维度问题，其具有自学习、自适应特点，且无需大量实测学习资料，有效突破了传统方法在非线性调度场景中的瓶颈，适用于明渠闸泵群实时智能调度。

（2）所构建的调度模型应用效果较好。应用结果表明，深度强化学习算法与一维闸泵群水动力模型耦合效果较好，模型可以实现冰期分水扰动下，将控制断面水位抬高至冰期控制水位，使控制断面水位趋于稳定，控制断面1、2的抬高程度分别为21.43 ~ 43.42 cm、14.86 ~ 56.23 cm，水位变化标准差分别为0.84 ~ 3.36 cm、2.08 ~ 5.32 cm。

（3）分水扰动安全阈值确定与合理的超参数设计的必要性。分水扰动安全阈值的设置能在满足调度效果的前提下，减少不必要的闸门调整的次数，从而保障工程运行安全，降低调度能耗。为促进算法收敛应合理设置模型超参数，噪声值和学习率是影响所提出调度模型结果的重要参数，超参数优化设计后的调度模型在不同调度场景下展现出较强鲁棒性。

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

陈铭瑞. 明渠调水工程实时调度方式研究［D］. 邯郸：河北工程大学，2022.

CHEN M R. Study on Real-time Dispatching Mode of Open Channel Water Transfer Project［D］. Handan：Hebei University of Engineering，2022. （in Chinese）

[2]

甘甜，王超，蒋云钟，等. 基于时空动态知识图谱的明渠实时调度模式智能识别研究［J］. 水利学报，2025，56（5）：646-658.

GAN T，WANG C，JIANG Y Z，et al. Intelligent identification of real-time regulation pattern in open channels based on spatiotemporal dynamic knowledge graph［J］. Journal of Hydraulic Engineering，2025，56（5）：646-658. （in Chinese）

[3]

丁爱萍，郭晓晨，陈文学，等. 输水渠道中分水口和节制闸的水力敏感性分析［J］. 人民黄河，2010，32（4）：109-111，113.

DING A P，GUO X C，CHEN W X，et al. Hydraulic sensitivity analysis of diversion outlets and check gates in water conveyance channels［J］. Yellow River，2010，32（4）：109-111，113. （in Chinese）

[4]

孔令仲. 大型明渠输水工程常态控制与应急调控算法研究［D］. 杭州：浙江大学，2019.

KONG L Z. Research on Normal Control and Emergency Regulation Algorithm for Large Open Canal Water Transfer Project［D］. Hangzhou：Zhejiang University，2019. （in Chinese）

[5]

孔令仲，王浩，雷晓辉，等. 基于线性预测控制算法的明渠实时控制研究［J］. 水利学报，2020，51（3）：326-334.

KONG L Z，WANG H，LEI X H，et al. Research on real-time control of open canal based on linear predictive control method［J］. Journal of Hydraulic Engineering，2020，51（3）：326-334. （in Chinese）

[6]

ARAUZ T，MAESTRE J M，TIAN X，et al. Design of PI controllers for irrigation canals based on linear matrix inequalities［J］. Water，2020，12（3）：855.

[7]

ZHONG K，GUAN G，MAO Z，et al. Linear quadratic optimal controller design for constant downstream water-level PI feedback control of open-canal systems［C］// MATEC Web of Conferences. 2018.

[8]

LITRICO X，MALATERRE P O，BAUME J P，et al. Automatic tuning of PI controllers for an irrigation canal pool［J］. Journal of Irrigation and Drainage Engineering，2007，133（1）：27-37.

[9]

WEYER E. Control of irrigation channels［J］. IEEE Transactions on Control Systems Technology，2008，16（4）：664-675.

[10]

VAN OVERLOOP P J，SCHUURMANS J，BROUWER R，et al. Multiple-model optimization of proportional integral controllers on canals［J］. Journal of Irrigation and Drainage Engineering，2005，131（2）：190-196.

[11]

CHENG T，WU J H，WANG H Y，et al. Dynamic optimization of rotor-side PI controller parameters for doubly-fed wind turbines based on improved recurrent neural networks under wind speed fluctuations［J］. IEEE Access，2023，11：102713-102726.

[12]

CONDE G，QUIJANO N，OCAMPO-MARTINEZ C. Modeling and control in open-channel irrigation systems：A review［J］. Annual Reviews in Control，2021，51：153-171.

[13]

董蓉，刘放，聂少卿，等. 非线性递减权值PSO优化下的LQR轨迹跟踪研究［J］. 电子测量技术，2024，47（4）：44-50.

DONG R，LIU F，NIE S Q，et al. Research on LQR trajectory tracking under nonlinear decreasing weight PSO optimization［J］. Electronic Measurement Technology，2024，47（4）：44-50. （in Chinese）

[14]

许一航，刘剑，武永宝，等. 基于非线性补偿LQR的全驱动碟式水下机器人控制［J］. 控制理论与应用，2024，41（10）：1783-1790.

XU Y H，LIU J，WU Y B. et al. Nonlinear compensation LQR control of fully-actuated dish-shaped underwater vehicle［J］. Control Theory & Applications，2024，41（10）：1783-1790. （in Chinese）

[15]

KONG L Z，LEI X H，WANG M，et al. A regulation algorithm for automatic control of canal systems under emergency conditions［J］. Irrigation and Drainage，2019，68（4）：646-656.

[16]

管光华，朱哲立，王康. 含多分水口的渠道广义积分时滞（ID）调度建模及验证［J］. 水利学报，2022，53（5）：598-607.

GUAN G H，ZHU Z L，WANG K. et al. Modeling and validation based on Generalized-Integrator-Delay model for water conveyance and distribution canal systems with multi-offtake［J］. Journal of Hydraulic Engineering，2022，53（5）：598-607. （in Chinese）

[17]

刘晋龙，王忠静，杨志刚，等. 灌区输配水分段积分时滞模型及自适应预测控制方法［J］. 水利学报，2023，54（2）：232-243.

LIU J L，WANG Z J，YANG Z G，et al. Segment integrator delay model and adaptive predictive control method for water transmission and distribution system in irrigation districts［J］. Journal of Hydraulic Engineering，2023，54（2）：232-243. （in Chinese）

[18]

汪启杭. 基于强化学习的排水系统控制算法仿真与研究［D］. 杭州：浙江大学，2021.

WANG Q H. Simulation and Reasearch of Control Algorithm for Drainage System Based on Reinforcement Learning［D］. Hangzhou：Zhejiang University，2021. （in Chinese）

[19]

徐刚，舒远丽，任玉峰，等. 基于深度学习的三峡水库实时防洪调度模型［J］. 水力发电学报，2022，41（3）：60-69.

XU G，SHU Y L，REN Y F，et al. Real-time flood control operation model of Three Gorges Reservoir based on deep learning［J］. Journal of Hydroelectric Engineering，2022，41（3）：60-69. （in Chinese）

[20]

刘双. 基于强化学习的长距离输水系统闸门调度研究［D］. 大连：大连理工大学，2022.

LIU S. Research on Gate Operation of Long-Distance Water Transmission System Based on Reinforcement Learning［D］. Dalian：Dalian University of Technology，2022. （in Chinese）

[21]

伍鑫，陈植欣，温庆博，等. 基于强化学习的非常规水资源优化配置模型［J］. 水力发电学报，2021，40（7）：23-31.

WU X，CHEN Z X，WEN Q B，et al. Optimal allocation model of unconventional water resources based on reinforcement learning［J］. Journal of Hydroelectric Engineering，2021，40（7）：23-31. （in Chinese）

[22]

胡鹤轩，尹苏明，胡强，等. 基于强化学习算法的水库优化调度研究［J］. 水电能源科学，2022，40（1）：73-77.

HU H X，YIN S M，HU Q. et al. Reservoir optimal operation method based on reinforcement learning［J］. Water Resources and Power，2022，40（1）：73-77. （in Chinese）

[23]

胡鹤轩，钱泽宇，胡强，等. 离散四水库问题基准下基于n步Q-learning的水库群优化调度［J］. 中国水利水电科学研究院学报（中英文），2023，21（2）：138-147.

HU H X，QIAN Y Z，HU Q，et al. Optimal scheduling of multi-reservoir system based on n-step Q-learningunder discrete four-reservoir problem benchmark［J］. Journal of China Institute of Water Resources and Hydropower Research，2023，21（2）：138-147. （in Chinese）

[24]

GAN T，JIANG Y Z，ZHAO H L，et al. Research on low-energy consumption automatic real-time regulation of cascade gates and pumps in open-canal based on reinforcement learning［J］. Journal of Hydroinformatics，2024，26 （7）：1673-1691.

[25]

龙岩，高伟，张召，等. 明渠调水工程渠池自平衡特性及扰动阈值［J］. 南水北调与水利科技（中英文），2025，23（1）：10-20.

LONG Y，GAO W，ZHANG Z，et al. Self balancing characteristics and disturbance threshold of open channel water diversion projects［J］. South-to-North Water Transfers and Water Science & Technology，2025，23（1）：10-20. （in Chinese）

[26]

孙文凯. 基于深度强化学习的四足机器人运动控制方法［D］. 济南：山东大学，2022.

SUN W K. Motion Control Method of Quadruped Robot Based onDeep Reinforcement Learning［D］. Jinan：Shandong University，2022. （in Chinese）

[27]

甘甜，王超，蒋云钟，等. 考虑受水区需水时空不确定的调水工程水量调度与滚动优化研究［J］. 水利学报，2025，56（12）：1633-1646.

GAN T，WANG C，JIANG Y Z，et al. Research on water regulation and rolling optimization of water transfer projects considering the spatiotemporal uncertainty of water demand in water receiving areas［J］. Journal of Hydraulic Engineering，2025，56（12）：1633-1646. （in Chinese）

[28]

ZHAO R H，GAN T，WANG X J，et al. Research on parameter optimization of the optimal schedule model of water resources for the Jiaodong water transfer project based on the ICCP model［J］. Water，2023，15（15）：2731.

[29]

LIESSNER R，SCHMITT J，DIETERMANN A，et al. Hyperparameter optimization for deep reinforcement learning in vehicle energy management［C］// Proceedings of the 11th International Conference on Agents and Artificial Intelligence. Prague：SCITEPRESS-Science and Technology Publications，2019.

2026年第57卷第5期

PDF下载

463

224

引用本文

BibTeX

文章信息

doi: 10.3724/j.slxb.20250556

接收时间：2025-09-03
首发时间：2026-06-25
出版时间：2026-05-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-09-03

基金

作者信息

^1.长江科学院水力学研究所，湖北武汉 430010

^2.中国水利水电科学研究院，北京 100038

^3.水利部数字孪生流域重点实验室，北京 100038

通讯作者:

王超（1989—），博士，正高级工程师，主要从事水资源优化调度及水利信息化研究。E-mail：wangchao@iwhr．com

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/slxb/CN/10.3724/j.slxb.20250556

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT