热力发电

项目	90%额定负荷	40%额定负荷
有功功率被控变量/MW	857.872	450.310
主蒸汽压力被控变量/MPa	29.086	15.574
分离器出口温度被控变量/℃	448.735	399.538
阀门开度控制变量/%	44.749	27.505
给煤量控制变量/(t·h^–1)	396.946	197.166
给水量控制变量/(t·h^–1)	2 374.120	1 169.924

项目

90%额定负荷

40%额定负荷

有功功率被控变量/MW

857.872

450.310

主蒸汽压力被控变量/MPa

29.086

15.574

分离器出口温度被控变量/℃

448.735

399.538

阀门开度控制变量/%

44.749

27.505

给煤量控制变量/(t·h^–1)

396.946

197.166

给水量控制变量/(t·h^–1)

2 374.120

1 169.924

项目	90%额定负荷	40%额定负荷
有功功率被控变量/MW	857.872	450.310
主蒸汽压力被控变量/MPa	29.086	15.574
分离器出口温度被控变量/℃	448.735	399.538
阀门开度控制变量/%	44.749	27.505
给煤量控制变量/(t·h^–1)	396.946	197.166
给水量控制变量/(t·h^–1)	2 374.120	1 169.924

项目

90%额定负荷

40%额定负荷

有功功率被控变量/MW

857.872

450.310

主蒸汽压力被控变量/MPa

29.086

15.574

分离器出口温度被控变量/℃

448.735

399.538

阀门开度控制变量/%

44.749

27.505

给煤量控制变量/(t·h^–1)

396.946

197.166

给水量控制变量/(t·h^–1)

2 374.120

1 169.924

项目	数值
Critic网络学习率	0.000 1
Actor网络学习率	0.001
折扣因子	0.99
经验池大小	10⁶
目标平滑因子	0.001
最大迭代次数	1 000
平均窗口长度	30
样本学习个数	128

项目

数值

Critic网络学习率

0.000 1

Actor网络学习率

0.001

折扣因子

0.99

经验池大小

10⁶

目标平滑因子

0.001

最大迭代次数

1 000

平均窗口长度

样本学习个数

128

项目	数值
Critic网络学习率	0.000 1
Actor网络学习率	0.001
折扣因子	0.99
经验池大小	10⁶
目标平滑因子	0.001
最大迭代次数	1 000
平均窗口长度	30
样本学习个数	128

项目

数值

Critic网络学习率

0.000 1

Actor网络学习率

0.001

折扣因子

0.99

经验池大小

10⁶

目标平滑因子

0.001

最大迭代次数

1 000

平均窗口长度

样本学习个数

128

超超临界机组协调控制系统误差自抗扰控制与优化

PDF下载

黄从智 ¹^,² , 蒋茜茜 ¹ , 谭祥帅 ³

热力发电 | 新能源发电技术专题 2025,54(4): 104-116

收起

热力发电 | 新能源发电技术专题 2025, 54(4): 104-116

超超临界机组协调控制系统误差自抗扰控制与优化

全屏

黄从智¹^,², 蒋茜茜¹, 谭祥帅³

作者信息

^1.华北电力大学控制与计算机工程学院，北京　102206

^2.电站能量传递转化与系统教育部重点实验室，北京　102206

^3.西安热工研究院有限公司，陕西　西安　710054

黄从智（1982），男，博士，教授，主要研究方向为智能控制理论及其新型电力系统应用，hcz190@ncepu.edu.cn。

Error-based active disturbance rejection control and optimization of coordinated control system for ultra-supercritical unit

Congzhi HUANG¹^,², Xixi JIANG¹, Xiangshuai TAN³

Affiliations

^1.School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China

^2.Key Laboratory of Power Station Energy Transfer Conversion and System, Beijing 102206, China

^3.Xi’an Thermal Power Research Institute Co., Ltd., Xi’an 710054, China

出版时间: 2025-04-25 doi: 10.19666/j.rlfd.202406175

文章导航

摘要

收起

超超临界机组由于其高参数、高效率的优点，已成为电网深度调频调峰、抑制电网波动的有力支撑，超超临界机组控制策略的优化改造对于电网安全稳定运行具有重要意义。针对超超临界机组协调控制系统优化问题，提出一种基于误差自抗扰控制策略和强化学习算法的智能控制策略。首先，在基于误差的自抗扰控制策略框架中，根据单元机组机炉耦合过程运行特性，简化机炉耦合过程被控对象模型，设计扩张状态观测器来实时估计并补偿机组的未建模动态特性和外部扰动。其次，构建奖励函数并利用柔性演员-评论家算法来实现控制器参数自适应调整。最后，基于某超超临界1 000 MW二次再热机组实际历史运行数据仿真验证了所提控制策略的有效性。

关键词

超超临界机组 / 误差自抗扰控制 / 强化学习 / 参数自适应调整

Abstract

收起

Due to its high parameters and high efficiency, ultra supercritical units have become a powerful support for deep frequency regulation, peak shaving, and suppression of power grid fluctuations. The optimization and transformation of control strategies for ultra supercritical units are of great significance for the safe and stable operation of the power grid. Aiming at the optimization problem of coordinated control system for ultra supercritical units, an intelligent control strategy based on error self-disturbance rejection control strategy and reinforcement learning algorithm is proposed. Firstly, in framework of the error-based self-disturbance rejection control strategy, the controlled object model of the machine furnace coupling process is simplified according to operating characteristics of the unit’s turbine-boiler coupled process, and an extended state observer is designed to estimate and compensate for the unmodeled dynamic characteristics and external disturbances of the unit in real time. Secondly, a reward function is constructed and the flexible actor-critic algorithm is used to achieve self-adaptive adjustment of controller parameters. Finally, the effectiveness of the proposed control strategy is verified through simulation based on actual historical operating data of a certain ultra supercritical 1 000 MW secondary reheating unit.

Key words

ultra-supercritical unit / error-based active disturbance rejection control / reinforcement learning / self-adaptive adjustment of controller parameters

引用本文

黄从智, 蒋茜茜, 谭祥帅. 超超临界机组协调控制系统误差自抗扰控制与优化. 热力发电, 2025 , 54 (4) : 104 -116 . DOI: 10.19666/j.rlfd.202406175

Congzhi HUANG, Xixi JIANG, Xiangshuai TAN. Error-based active disturbance rejection control and optimization of coordinated control system for ultra-supercritical unit[J]. Thermal Power Generation, 2025 , 54 (4) : 104 -116 . DOI: 10.19666/j.rlfd.202406175

正文

收起

能源电力低碳转型是实现碳达峰、碳中和的关键，事关我国经济社会发展全局^[1]。然而由于新能源发电具有间歇性、波动性等特性，在并网过程中，电网不得不承担消纳新能源所造成的冲击，导致其稳定性降低^[2]。在这一过程中，超超临界发电机组是能源高效利用的先锋^[3]，一般采用直流锅炉^[4]，由于其具有发电效率高^[5]、出力形式稳定等优势，已成为电网深度调频调峰、抑制电网波动的有力支撑。因此，为了更好地配合电网负荷指令并维持机组内部的安全和稳定，迫切需要优化改造超超临界机组协调控制系统控制策略^[6]。

协调控制系统是满足机组运行内外能量平衡的关键，承担着协调锅炉和汽轮机以响应电网调度指令的重要任务^[7]。超超临界机组协调控制系统具有大惯性、大延迟、非线性的特点，传统的PID控制方法难以满足新型电力系统背景下的控制要求^[8]。因此，采用智能控制方法来弥补这些缺点，提升机组运行的效率、稳定性和可靠性显得更加迫切和必要。

在现代工程领域，复杂性、非线性和外部扰动的挑战日益凸显^[9]，由韩京清提出的自抗扰控制（active disturbance rejection control，ADRC）已经在诸多领域引起了广泛的关注^[10]。ADRC的核心思想是以简单的积分串联型为标准型，把系统动态中不同于标准型的部分视为总扰动，利用扩张状态观测器（extended state observer，ESO）实时估计并补偿总扰动，从而把充满扰动、不确定性和非线性的被控对象还原为标准的积分串联型，使控制系统的设计从复杂到简单，从抽象到直观。但这种非线性控制的结构较为复杂，理论分析较难，控制参数过多，不利于工程应用。因此，高志强应用频率尺度的概念将ADRC线性化，其线性ESO和比例-微分（PD）控制分别估计和补偿干扰，使ADRC整定参数降低为2个^[11-12]。最近，基于误差的自抗扰控制（error-based active disturbance rejection control，EADRC）被提出^[13]，EADRC采用参考跟踪误差作为其直接输入，综合ADRC和PID的优点，将二自由度自抗扰控制设计重构为一自由度形式，使其在工业应用中成为一种有吸引力的方案。EADRC的控制性能已在风力涡轮机功率设定值跟踪俯仰控制系统^[14]和风电机组恒功率控制系统中得到验证^[15]。

控制器参数调整是确保控制系统正常运行，实现期望性能并适应不确定性和变化的关键步骤，通过合适的参数设置，可以使控制系统的性能达到最优。参数整定方法分为固定和自动，第一种类型包括群智能优化算法，如粒子群算法^[16]和遗传算法^[17]。然而，这些算法可能存在收敛速度慢和易陷入局部最优等缺点。第二种类型包括模糊自适应控制^[18]和神经网络自适应控制^[19]等算法来实现参数自适应调整。然而，这些方法可能会受到噪声、估计误差、收敛性等因素的影响，不能有效应对环境的突发变化。因此，需要将控制器参数调整智能化，使其能够在复杂多变的工作环境中自动地调整控制器参数，以提高控制系统性能和适应性。

强化学习旨在让智能体通过尝试不同的行动来与环境互动，根据环境的反馈来调整其行动策略，以达到最优的长期累积奖励，其在许多领域已有广泛的应用，如机器人控制^[20]、过程控制^[21]等。此外，强化学习也广泛应用于电力系统中，Hou等人^[22]通过采用TD3算法获得控制器的最优参数，提升热电联产电厂的运行灵活性。Meng等人^[23]通过采用DDPG算法智能调节控制器参数，提高直流微电网直流固态变压器系统运行效率，Duan等人^[24]通过采用DQN算法和DDPG算法实现电网运行自主电压控制，Dong等人^[25]通过融合一种复合体验回放策略的DDPG算法，优化风电场的总发电量。尽管这些算法在电力系统控制及优化问题中表现出色，但在训练的稳定性、样本效率以及超参数调整等方面都存在一些挑战。然而，柔性演员-评论家（soft actor-critic，SAC）算法通过采用最大熵原则来提高算法探索能力，其效率更高，收敛性更好，性能更稳定^[26-27]。

因此，针对超超临界1 000 MW机组协调控制系统的性能优化问题，本文提出一种基于EADRC和SAC算法的解决方案。首先，在EADRC框架中，根据机炉耦合过程运行特性，确定系统的输入输出变量，简化机炉耦合过程被控对象模型并设计其EADRC控制策略。其次，在奖励函数设计中主要考虑系统快速跟踪性能、运行过程各项重要参数的稳定和燃料量的投入。然后，利用SAC算法最大化奖励函数获得EADRC最优参数。最后，通过仿真实验验证了所提方案的有效性。

1　协调控制系统模型及其自抗扰控制器设计

收起

1.1　超超临界机组协调控制系统被控对象

超超临界机组协调控制系统是由直流锅炉、汽轮机和发电机共同构成的多输入多输出的被控对象。超超临界机组的工作原理是：煤炭在磨煤机中被磨成颗粒大小均匀的煤粉，煤粉经空气预热器加热到一定的温度后由一次风吹入炉膛内部燃烧，通过煤粉的燃烧将水加热成水蒸气；水蒸气经过热器进一步加热之后形成过热蒸汽进入汽轮机中，通过蒸汽压力带动汽轮机转动；汽轮机转动之后通过连轴带动发电机转子转动，从而使发电机产生电能；最后，由主变压器将各发电机发出的电能整合升压后进入电网进行传输。

因此，基于机组整体运行机理和动态特性，超超临界机组协调控制系统模型可简化为图1所示的三输入三输出系统，其控制变量分别为燃料量（M，t/h）、阀门开度（μ_T，%）和给水流量（W，t/h），被控变量分别为主蒸汽压力（p_T，MPa）、有功功率（P_E，MW）和分离器出口温度（T，℃）。

1.2　基于误差的自抗扰控制器设计及稳定性分析

1.2.1　控制器设计

基于EADRC策略的超超临界机组协调控制系统如图2所示。结合实际工程应用，综合考虑限幅、限速等因素并根据专家经验设定前馈控制环节^[30-31]。EADRC将系统内部干扰和外部干扰的总和等效为一种总扰动，通过ESO来实时在线观测并采用PD控制部分将其补偿掉。

由图2可以看出，该控制系统包括EADRC1、EADRC2和EADRC3共3个控制器，这3个控制器分别对应有功功率通道、主蒸汽压力通道和分离器出口温度通道。

以有功功率通道的EADRC1控制器为例，EADRC的设计过程如下。根据实际工程应用，有功功率子系统动态调节过程可以描述为一个二阶系统：

y ¨ = d + b u

(1)

式中：y为系统输出变量；d为系统不确定性扰动；b为系统控制输入增益；u为系统控制输入变量。

将系统的跟踪误差定义为e=r-y，r为系统参考输入，则系统的误差动力学为：

e ¨ = r ¨ − y ¨ = r ¨ − b u − d = − b 0 u − b u + b 0 u + r ¨ − d ︸ f = − b 0 u + f

(2)

式中：b₀为控制输入增益b的最佳估计；f为扰动项。

为了生成控制律，在式(2)的两端进行增项，则跟踪误差的动力学为：

e ¨ + k 1 e ˙ = − b 0 u + k 1 e ˙ + f ︸ F = − b 0 u + F

(3)

式中：F为系统总扰动，其值可通过ESO估计。

假设，总扰动F可以通过ESO估计和控制律补偿来得到抑制，即

F^= F

，则控制律可以表示为：

u = u 0 + F b 0, u 0 = k 0 e

(4)

则系统的跟踪误差动力学可以表示为：

e ¨ + k 1 e ˙ + k 0 e = F − F^= 0

(5)

将控制器极点统一配置在s平面左半实轴-ω_c（控制器带宽）处^[28]，得到控制器增益为：

k 0 = ω c 2, k 1 = 2 ω c

(6)

将系统的跟踪误差定义为新的状态向量

z = [z 1 z 2 z 3] T ≜ [e e ˙ F] T

，则式(3)可以用状态空间表达式表示为：

z ˙ = A z + B u + E F ˙

(7)

其中，

A = [0 1    0 0 − k 1 0 0 0    0]

，

B = [0 − b 0 0]

，

E = [001]

。

则相应的基于误差的三阶ESO可以表示为：

z^˙ = A z^+ B u + L (e − e^)

(8)

其中，

z^= [z^1 z^2 z^3] T ≜ [e^e ˙^F^] T

，代表状态变量z的观测值，

L = [l 1 l 2 l 3] T

代表观测器的增益。

结合式(4)和式(8)，得到闭环系统误差方程：

z^˙ e = A e z^e + L e

(9)

其中，

z^e = [e − e^e ˙ − e ˙^F − F^] T

，

A e = [− l 1 10 − l 2 − k 0 − k 1 1 − l 3 00]

。

将观测器的极点统一配置在s平面的左半实轴-ω_o（观测器带宽）处，将得到观测器增益为：

l 1 = 3 ω o − k 1 l 2 = 3 ω o 2 − k 0 − l 1 k 1 l 3 = ω o 3

(10)

因此，超超临界机组协调控制系统需要整定的控制器参数为ω_o1、ω_c1、b₀₁、ω_o2、ω_c2、b₀₂、ω_o3、ω_c3、b₀₃。

1.2.2　稳定性分析

为验证EADRC下的闭环系统的稳定性，基于奇异摄动理论对其进行理论分析^[13]。根据1.2.1中的描述，观测器估计误差方程可表示为：

q ˙ = H q + h η

(11)

其中，

q = [e − e^e ˙ − e ˙^F − F^] T

，

η = F ˙

，

H = [− l 1 1 0 − l 2 − k 0 − k 1 1 − l 3 0 0]

，

h = [001]

。

通过极点配置，式(11)的特征方程为：

det (s I − H) = s 3 + p 1 s 2 + p 2 s + p 3 = (s + ω o) 3

(12)

当

[p 1 p 2 p 3] = [3 ω o 3 ω o 2 ω o 3]

时，估计误差矩阵H的特征值为：

λ i {H} = − ω o ， ∀ i = 1, 2, 3

(13)

因此，式(12)的系数可以表示为：

{s 1 = k 1 + l 1 = 3 ω o ⇒ l 1 = 3 ω o − k 1 s 2 = k 1 l 1 + k 0 + l 2 = 3 ω o 2 ⇒ l 2 = 3 ω o 2 − k 1 l 1 − k 0 s 3 = l 3 + 0 = ω o 3 ⇒ l 3 = ω o 3

(14)

因此，可以将估计误差矩阵H重新描述为：

H = [− l 1 10 − l 2 − k 0 − k 1 1 − l 3 00] = [− 3 ω o 10 − 3 ω o 2 01 − ω o 3 00] + [k 1 00 k 1 l 1 − k 1 0 000]

(15)

对误差方程引入坐标变换：

q = Λ ξ

，ξ=[ξ₁ ξ₂ ξ₃]，

Λ = diag (ω o − 2, ω o − 1, 1)

，可将其重新描述为：

Λ ξ ˙ = H Λ ξ + h η

(16)

式(16)左乘

Λ ξ − 1

可得：

1 ω o ξ ˙ = H q ξ + 1 ω o h η ⇒ ε ξ ˙ = H q ξ + ε h η

(17)

其中，

ε = 1 ω o

，

H q = A q + ε H ε

，

A q = [− 3 1 0 − 3 01 − 1 00]

，

H ε = [k 1 0     0 ε k 1 l 1 − k 1 0 0 0     0]

。

转换后的误差方程(17)及其初始条件为：

ε ξ ˙ = H q ξ + ε h η, ξ (0) = ξ 0

(18)

式(18)是一个标准的奇异摄动线性微分方程初值问题，该方程中包含一个取值较小的正参数ε，ε=1/ω_o。根据文献[29]，可得到稳定性定理1。

定理1：如果

‖ ξ 0 ‖ = O (ε)

和

F ˙ = η

存在，那么：

1）系统的渐近解在所有有限时间L（0≤t≤L<∞）内均有效，并且渐近解的具体形式为：

ξ (ε, t) = exp (A q t ε) ξ 0 + O (ε 2) + ε [A q − 1 h ⋅ η + exp (A q t ε) {A q − 1 h ⋅ η (0)} − H 0 ∫ 0 t exp [A q (t − s ε)] A q − 1 h ⋅ η (s) d s]

(19)

2）存在ε^*>0，使得对于所有ε∈[0, ε*]，系统(18)在

ε → 0

时是指数稳定的；

3）对于所有

ξ ∈ Ω = [− ρ 1, ρ 1] 3 ⊂ ℝ 3

，

γ > 0

，

ρ 1 = γ max {ω c, ε, ∥ H q ∥}

，则存在独立于ε的正常数C₂，使系统(18)的解满足：

{‖ ξ (ε, t) ‖ ⩽ ε C 1 exp [− (12 − ε C 1 C 2) t ε] ‖ η ‖ ⋅ ‖ ξ (ε, t) ‖ − 1 ⩽ C 2

(20)

其中，

C 1 = 3 + 1 ω c ∑ j = 1 2 L j j! ‖ (H q + I 3) j 2 ‖

，I₃是三阶单位矩阵，

H 0 = [2 ω c 00 0 − 2 ω c 0 000]

。

由定理1可知，当

‖ ξ 0 ‖ = O (ε)

和

F ˙ = η

存在时，系统(18)是指数稳定且是一致渐近稳定的。

2　基于强化学习的自抗扰控制器参数整定

收起

2.1　SAC算法

SAC算法是一种基于最大熵强化学习的策略优化方法，其目标是在最大化累积奖励的同时，最大化策略的熵，最大化熵可以鼓励策略更好地探索环境，有助于提高算法的稳定性和收敛速度。

熵是随机变量随机程度的度量，可描述为：

H (X) = E x ∼ p [− lg p (x)]

(21)

式中：x为随机变量；p为x的概率密度函数。在强化学习中使用H(π(▪|s))表示策略π在状态s下的随机程度。

最大熵强化学习的思想是除了最大化累积奖励，还要使得策略更加随机。因此，强化学习的目标中就加入了一项熵的正则项，可以描述为：

π ∗ = arg max x E x [∑ t r (s t, a t) + α H (π (⋅ | s t))]

(22)

式中：α为熵正则化系数，α越大，探索性越强，越有助于加速后续的策略学习，并减少策略陷入较差的局部最优的可能性。

在SAC算法中，Soft贝尔曼方程可以表示为：

Q (s t, a t) = r (s t, a t) + γ E s t + 1 [V (s t + 1)]

(23)

其中，状态价值函数表示为：

V (s t) = E a t ∼ π [Q (s t, a t) − α lg π (a t ∣ s t)] = E a t ∼ π [Q (s t, a t)] + H (π (⋅ ∣ s t))

(24)

可根据以下Soft策略提升公式改进策略：

π now = arg min π' D K L (π ′ (⋅ | s), exp (1 α Q π old (s, ⋅)) Z π old (s, ⋅))

(25)

图3为SAC算法的结构示意。由图3可见，SAC算法主要由缓冲区、评论家网络和演员网络组成。演员网络负责将状态映射到动作，评论家网络负责估计状态和状态-动作的值，缓冲区负责存储经验。在SAC算法中有2个Q网络，每次使用Q网络时挑选一个Q值较小的网络，可缓解Q值过高估计的问题。

任意一个Q函数的损失函数为：

L Q (ω) = E (s t, a t, r t, s t + 1) ∼ R, a t + 1 ∼ π θ (⋅ | s t + 1 |) [12 (Q w (s t, a t) − (r t + γ (min j = 1, 2 Q w j − (s t + 1, a t + 1) − α lg π (a t + 1 ∣ s t + 1)))) 2]

(26)

式中：R为策略先前收集的数据；

Q ω −

为目标Q网络，训练中不断更新目标软Q值网络参数。

ω ← τ ω + (1 − τ) ω ​

(27)

策略

π

的损失函数由KL散度得到：

L π (θ) = E s t ~ R, a t ~ π θ [α lg (π θ (a t | s t)) − Q ω (s t, a t)]

(28)

最大化状态价值函数V：

V (s t) = E a t ~ π [Q (s t, a t) − α lg π (a t | s t)]

(29)

为了自动调整熵正则项H₀，即最大化期望回报，同时约束熵的均值大于H₀，可将强化学习的目标改写为一个带约束的优化问题：

max π E π [∑ t r (s t, a t)] s .t . E (s t, a t) ~ ρ π [− lg (π t (a t | s t))] ≥ H 0

(30)

化简后α的损失函数为：

L (α) = E s t ~ R, a t ~ π (⋅ | s t) [− α lg π (a t | s t) − α H 0]

(31)

当策略的熵低于目标值H₀时，训练目标L(α)会使α增大，进而在上述最小化损失函数L_π(θ)的过程中增加策略熵对应项重要性；反之，α会减小，进而使得策略训练时更专注于价值提升。SAC算法的具体流程见表1。

2.2　自抗扰控制器参数整定

为实现机组控制器参数自适应调整，在保持机组快速跟踪能力下，同时考虑机组运行安全性和经济性。对于整个控制系统，根据已知描述，SAC算法需调整的参数是EADRC控制器参数。整个控制系统可以看作是强化学习的环境，通过环境和智能体之间不断交互学习，可以找到最优策略，即最优控制器参数。而动作空间、状态空间和奖励函数的选取作为任务重要组成部分，会直接影响SAC算法的学习和决策过程，需精心设计。

动作空间：

a = [ω o 1 ω c 1 b 01 ω o 2 ω c 2 b 02 ω o 3 ω c 3 b 03]

(32)

状态空间：

s = [e (t) ∫ 0 t e (t) d t y 1 (t) y 2 (t) y 3 (t) u 1 (t) u 2 (t) u 3 (t) u ˙ 1 (t) u ˙ 2 (t) u ˙ 3 (t)]

(33)

式中：

e (t) = α 1 e 1 (t) + α 2 e 2 (t) + α 3 e 3 (t)

，α₁、α₂、α₃分别为3个被控变量有功功率、主蒸汽压力和分离器出口温度的跟踪误差权重；y₁(t)、y₂(t)、y₃(t)分别为3个被控变量有功功率、主蒸汽压力和分离器出口温度的实际输出值；u₁(t)、u₂(t)、u₃(t)分别为3个控制变量阀门开度、给煤量和给水量，

u ˙ 1 (t)

、

u ˙ 2 (t)

、

u ˙ 3 (t)

分别为3个控制变量阀门开度、给煤量和给水量的变化速率。

奖励函数设计为：

r 1 = {− | e (t) | + 1, | e (t) | ≤ 0.1 − tanh (| e (t) | − 0.1), | e (t) | > 0.1

(34)

r 2 = {1, 1 068 ≤ ∑ i = 1 3 | Δ u i | ≤ 2 205 − 10, ∑ i = 1 3 | Δ u i | < 1 068 或 ∑ i = 1 3 | Δ u i | > 2 205

(35)

r 3 = {0.1, 0.02 ≤ ∑ i = 1 3 | Δ u ˙ i | ≤ 4 − 5, ∑ i = 1 3 | Δ u ˙ i | < 0.02 或 ∑ i = 1 3 | Δ u ˙ i | > 4

(36)

r 4 = 1 T max ∫ 0 T max t | Δ M | d t

(37)

r = r 1 + r 2 + r 3 + r 4

(38)

式中：控制变量增量和控制变量增量变化速率的范围约束条件是通过观察机组历史运行数据以及结合现场运行专家经验得到的，r₁为跟踪误差惩罚项，r₂为控制量超出惩罚项，r₃为控制量变化速率超出惩罚项，r₄为燃料量利用率超出惩罚项，r为最终的奖励函数。

3　仿真实验

收起

结合某超超临界1 000 MW二次再热机组的真实历史运行数据，基于文献[32-35]所提出的子空间辨识建模方法，采样时间为1 s，选择大范围变负荷下的2 000组数据作为训练集，不同额定负荷下600组数据作为验证集，建立90%额定负荷和40%额定负荷下的超超临界机组协调控制系统状态空间模型。2种额定负荷下的数据辨识结果验证分别如图4和图5所示，从图4和图5可以看出，该模型能够较好地拟合机炉耦合过程动态特性。

由于ADRC并未对被控对象的形式作出具体要求，在设计使用时可以忽略系统的线性或非线性、时变或时不变等因素，具有很强的适用性。因此，本文将非线性系统在某个额定工况下进行线性化处理，将系统内部非线性、未建模动态特性和外部干扰等效为一种总扰动，通过ESO来实时在线观测并采用PD控制部分将其补偿掉。

因此，本文选取90%额定负荷和40%额定负荷下超超临界机组机炉耦合过程作为被控对象，其状态空间模型及运行工况如下。

超超临界机组机炉耦合过程状态空间表达式为：

x (k + 1) = A ⋅ x (k) + B ⋅ u (k) y (k) = C ⋅ x (k) + D ⋅ u (k) D = 0

(39)

90%额定负荷时：

$\boldsymbol{A}=\left[\begin{array}{lllllll} -0.04492 & 0.01562 & -0.0238 & -0.09142 & -0.03787 & 0.01897 & 0.2015 \\ 0.05522 & -0.02918 & -0.006576 & 0.02124 & 0.1359 & -0.03927 & -0.2784 \\ 0.1026 & -0.05391 & 0.01163 & 0.1422 & 0.1902 & -0.1648 & -1.044 \\ 0.04579 & 0.004693 & -0.02259 & -0.1271 & 0.05825 & -0.1927 & -0.185 \\ -0.005938 & -0.04475 & -0.01482 & 0.1694 & -0.01145 & 0.08818 & -0.4574 \\ 0.02367 & -0.005278 & 0.03408 & 0.01558 & 0.0803 & -0.1937 & -0.4629 \\ 0.08573 & 0.03878 & 0.00842 & 0.2634 & 0.428 & -0.8584 & -3.222 \end{array}\right],$

$\boldsymbol{B}=\left[\begin{array}{lll} 0.04799 & 0.0001156 & 0.0003857 \\ -0.05991 & -0.0003373 & -0.0004169 \\ -0.2574 & -0.0003432 & -0.001634 \\ -0.04898 & -0.0008416 & 0.00002876 \\ -0.1193 & -0.001739 & -0.000998 \\ -0.1138 & -0.00114 & -0.0007389 \\ -0.8166 & -0.01035 & -0.005687 \end{array}\right], \boldsymbol{C}=\left[\begin{array}{lll} -85.67 & -1.422 & 24.5 \\ 42.43 & 1.298 & 19.89 \\ -37.48 & 0.1533 & -1.365 \\ 2.737 & 0.02348 & -0.4574 \\ -1.159 & 0.06005 & 0.5288 \\ 0.337 & 0.004997 & 0.2846 \\ -0.04886 & -0.008625 & 0.2061 \end{array}\right]^{\mathrm{T}}$

40%额定负荷时：

A = [− 0.020 0.012 0.019 − 0.085 0.122 0.141 0.048 − 0.002 − 0.034 − 0.040 0.158 0.355 − 0.019 0.015 0.000 3 0.009 − 0.023 − 0.014 0.007 − 0.058 − 0.011 0.021 0.033 0.067 − 0.319 − 0.072 0.661 − 0.053 − 0.060 − 0.115 0.106 0.663 − 1.489 − 0.759 − 0.605 0.003 − 0.010 0.015 − 0.394 0.204 − 0.221 − 0.228 0.025 − 0.004 − 0.067 − 0.039 1.322 0.657 0.162] ， B = [0.017 0.005 0 − 0.158 − 0.000 8 − 0.000 3 − 0.052 − 0.001 0 0.664 0.016 0.000 1 0.175 − 0.035 0.000 6 − 0.618 0.002 0.000 2 − 0.297 0.023 − 0.001], C = [− 47.92 133.2 46.24 9.79 26.19 − 150.1 − 175.6 − 5.91 − 3.45 − 12.06 − 2.31 − 10.17 14.06 3 .65 − 6.76 − 6.27 − 0.20 1.73 − 6.33 − 4.40 2.72] T 。

表2为机组协调控制系统运行工况。

将上述模型作为仿真系统中的被控对象，应用所提出的基于RL+EADRC的控制策略，基于MATLAB/Simulink仿真软件开展设定值跟踪测试和抗扰能力测试。并将经过粒子群算法优化的EADRC控制策略和PID控制策略作为基准控制策略。

3.1　预训练

SAC算法主要参数见表3。

基于SAC算法的超超临界机组协调控制系统控制策略的训练过程如图6所示。

根据图6训练结果可以看出，在智能体训练过程中，智能体通过不断地与环境交互学习使得平均奖励不断增加，当训练轮数达到200时，平均奖励开始收敛，达到停止条件。经过训练后的智能体能够根据环境的改变自适应地调整自抗扰控制器的参数。

3.2　设定值跟踪测试

为验证所提出的基于RL+EADRC的超超临界机组协调控制系统控制策略的性能，令有功功率被控变量在其设定值的基础上以斜坡形式递增20 MW，仿真时间设定为5 000 s。图7—图12为90%额定负荷和40%额定负荷下的超超临界机组协调控制系统的被控变量响应情况。

根据图7—图12结果可知，所提控制策略的响应速度优于EADRC控制策略和PID控制策略，具有更好的跟踪性能和动态性能，证明了所采用的基于SAC算法的参数优化策略比基于粒子群算法的参数优化策略更具优越性。

3.3　抗扰能力测试

机组在实际运行过程中会受到各种扰动，为了测试所提控制策略的抗扰能力，在t=1 000 s时令给煤量阶跃上升5%。通过仿真，90%额定负荷和40%额定负荷下的超超临界机组协调控制系统被控变量响应分别如图13—图18所示。

根据图13—图18结果可知，基于RL+EADRC的超超临界机组协调控制系统控制策略的实际被控变量能在仿真时间3 500 s内达到设定值，且在受到外界扰动时，所提控制策略在恢复稳态值时间方面优于EADRC控制策略和PID控制策略。因此，证明了所提出的RL+ EADRC控制策略相比传统的PID控制策略具有较好的抗扰能力。

4　结论

收起

针对超超临界机组协调控制系统性能优化问题，提出了一种基于EADRC和SAC算法的超超临界机组协调控制系统控制策略。根据超超临界机组机炉耦合过程运行特性，确定了系统的输入输出变量，给出了机炉耦合过程被控对象简化模型，并根据此模型设计了EADRC控制策略。将SAC算法引入EADRC参数优化中，通过最大化以系统的跟踪性能、燃料量等为目标的奖励函数，获得了EADRC的最优参数。设定值跟踪测试和抗扰能力测试的实验结果表明了所提控制策略具有较好的跟踪性能和抗扰性能。

基金

收起

国家自然科学基金项目(62373149)
中央高校基本科研业务费学科交叉创新专项(2023JC001)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

［1］

舒印彪, 赵勇, 赵良, 等. “双碳”目标下我国能源电力低碳转型路径[J]. 中国电机工程学报, 2023, 43(5): 1663-1672.

SHU

Yinbiao

, ZHAO

Yong

, ZHAO

Liang

, et al. Study on low carbon energy transition path toward carbon peak and carbon neutrality[J]. Proceedings of the CSEE, 2023, 43(5): 1663-1672.

［2］

任大伟, 肖晋宇, 侯金鸣, 等. 双碳目标下我国新型电力系统的构建与演变研究[J]. 电网技术, 2022, 46(10): 3831-3839.

REN

Dawei

, XIAO

Jinyu

, HOU

Jinming

, et al. Construction and evolution of China’s new power system under dual carbon goal[J]. Power System Technology, 2022, 46(10): 3831-3839.

［3］

王倩, 王卫良, 刘敏, 等. 超(超)临界燃煤发电技术发展与展望[J]. 热力发电, 2021, 50(2): 1-9.

WANG

Qian

, WANG

Weiliang

, LIU

Min

, et al. Development and prospect of(ultra)supercritical coal-fired power generation technology[J]. Thermal Power Generation, 2021, 50(2): 1-9.

［4］

王玮, 申朋玉, 李雪寒, 等. 提升直流炉供热机组灵活性的电热协调控制策略[J]. 中国电机工程学报, 2023, 43(6): 2100-2109.

WANG

Wei

, SHEN

Pengyu

, LI

Xuehan

, et al. Electricity-heat coordinated control strategy for improving the flexibility of a once-through CHP unit[J]. Proceedings of the CSEE, 2023, 43(6): 2100-2109.

［5］

崔晓宁, 赵志刚, 姜宁, 等. 1 000 MW超超临界二次再热锅炉系统㶲分析[J]. 动力工程学报, 2019, 39(8): 605-610.

CUI

Xiaoning

, ZHAO

Zhigang

, JIANG

Ning

, et al. Exergy analysisof a 1 000 MW ultra-supercritical double reheat boiler unit[J]. Journal of Chinese Society of Power Engineering, 2019, 39(8): 605-610.

［6］

赵征, 于悦波, 孙昊天. 基于凝结水节流的新型协调优化控制策略[J]. 动力工程学报, 2021, 41(2): 107-112.

ZHAO

Zheng

, YU

Yuebo

, SUN

Haotian

. Optimization of a new coordinated control strategy based on condensate throttling[J]. Journal of Chinese Society of Power Engineering, 2021, 41(2):107-112.

［7］

MOHAMMAD

, HAMED

. Robust & nonlinear control of an ultra-supercritical coal fired once-through boiler-turbine unit in order to optimize the uncertain problem[J]. Energy, 2023, 282: 128312.

［8］

张志豪, 李军, 王林, 等. 基于内模控制和改进自抗扰控制的主汽温串级控制系统[J]. 中国电机工程学报, 2024, 44(23): 9331-9340.

ZHANG

Zhihao

, LI

Jun

, WANG

Lin

, et al. Cascade control system of main steam temperature based on internal model control and improved active disturbance rejection control[J]. Proceedings of the CSEE, 2024, 44(23): 9331-9340.

［9］

WANG

Z X

, SONG

, YAN

, et al. Complete synchronization and partial anti-synchronization of complex Lü chaotic systems by the UDE-based control method[J]. Symmetry, 2022, 14(3): 517.

［10］

HAN

J Q

. From PID to active disturbance rejection control[J]. IEEE Transactions on Industrial Electronics, 2009, 56(3): 900-906.

［11］

GAO

Z Q

. On the foundation of active disturbance rejection control[J]. Control Theory & Applications, 2013, 12: 1498.

［12］

GAO

Z Q

. On the centrality of disturbance rejection in automatic control[J]. ISA Transactions, 2014, 53(4): 850-857.

［13］

MADONSKI

, SHAO

, ZHANG

. General error-based active disturbance rejection control for swift industrial implementations[J]. Control Engineering Practice, 2019, 84: 218-229.

［14］

HUANG

C Z

, ZHUANG

J N

. Error-based active disturbance rejection control for pitch control of wind turbine by improved coyote optimization algorithm[J]. IEEE Transactions on Energy Conversion, 2022, 37(2): 1394-1405.

［15］

HUANG

C Z

, ZHAO

H T

. Error-based active disturbance rejection control for wind turbine output power regulation[J]. IEEE Transactions on Sustainable Energy, 2023, 14(3): 1692-1701.

［16］

杨延西, 谢宙桦, 邓毅. 过热蒸汽温度量子粒子群优化无模型自适应控制[J]. 热力发电, 2016, 45(4): 84-88.

YANG

Yanxi

, XIE

Zhouhua

, DENG

. Model-free adaptive control of superheated steam temperature based on quantum-behaved particle swarm optimization[J]. Thermal Power Generation, 2016, 45(4): 84-88.

［17］

岑俊, 黄云峰, 方世清, 等. 基于改进GA-CPSO融合算法的1 000 MW机组给水系统建模[J]. 热能动力工程, 2023, 38(7): 117-127.

CEN

Jun

, HUANG

Yunfeng

, FANG

Shiqing

, et al. Modeling of feed water system for 1 000 MW unit based on improved GA-CPSO fusion algorithm[J]. Journal of Engineering for Thermal Energy and Power, 2023, 38(7): 117-127.

［18］

SUN

C H

, LIU

M Q

, LIU

C A

, et al. An industrial quadrotor UAV control method based on fuzzy adaptive linear active disturbance rejection control[J]. Electronics, 2021, 10(4): 376.

［19］

LIU

W T

, ZHAO

, WU

Z W

, et al. Linear active disturbance rejection control for hysteresis compensation based on backpropagation neural networks adaptive control[J]. Transactions of the Institute of Measurement and Control, 2021, 43(4): 915-924.

［20］

CHEN

, LU

Y W

, YANG

, et al. Reinforcement learning control for the swimming motions of a beaver-like, single-legged robot based on biological inspiration[J]. Robotics and Autonomous Systems, 2022, 154: 104116.

［21］

ZHENG

Y M

, TAO

, SUN

Q L

, et al. Soft actor-critic based active disturbance rejection path following control for unmanned surface vessel under wind and wave disturbances[J]. Ocean Engineering, 2022, 247: 110631.

［22］

HOU

G L

, HUANG

, ZHENG

F M

, et al. Application of multi-agent EADRC in flexible operation of combined heat and power plant considering carbon emission and economy[J]. Energy, 2023, 263: 125711.

［23］

MENG

X Q

, JIA

Y B

, REN

C G

, et al. DDPG-based back stepping controller for DC solid state transformer in DC microgrid with constant power loads[J]. IEEE Transactions on Smart Grid, 2022, 13(6): 4269-4283.

［24］

DUAN

J J

, SHI

, DIAO

R S

, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations[J]. IEEE Transactions on Power Systems, 2020, 35(1): 814-817.

［25］

DONG

H Y

, ZHAO

X W

. Composite experience replay-based deep reinforcement learning with application in wind farm control[J]. IEEE Transactions on Control Systems Technology, 2021, 30(3): 1281-1295.

［26］

HAARNOJA

, ZHOU

, ABBEEL

, et al. Soft actor-critic: off-policy maximum entropy deep reinforcement learning with a stochasticactor[J]. International Conference on Machine Learning, 2018, 80: 1861-1870.

［27］

HAARNOJA

, ZHOU

, HARTIKAINEN

, et al. Soft actor-critic algorithms and applications[Z/OL]. https://arxiv.org/pdf/1812.05905.

［28］

GAO

Z Q

. Scaling and bandwidth-parameterization based controller tuning[C]//Proceedings of the 2003 American Control Conference. Denver: IEEE, 2003, 6: 4989-4996.

［29］

SHAO

S S

, GAO

Z Q

. On the conditions of exponential stability in active disturbance rejection control based on singular perturbation analysis[J]. International Journal of Control, 2017, 90(10): 2085-2097.

［30］

DAI

C B

, XUE

Y L

, WU

Z L

, et al. Active disturbance rejection control for the reheated steam temperature of a double-reheat boiler[J]. Journal of Process Control, 2023, 130: 103078.

［31］

Z L

, HE

, LIU

Y H

, et al. Physics-informed energy-balanced modeling and active disturbance rejection control for circulating fluidized bed units[J]. Control Engineering Practice, 2021, 116: 104934.

［32］

VAN OVERSCHEE

, DE MOOR

. A unifying theorem for three subspace system identification algorithms[J]. Automatica, 1995, 31(12): 1853-1864.

［33］

QIN

S J

. An overview of subspace identification[J]. Computers & chemical engineering, 2006, 30(10/11/12): 1502-1513.

［34］

FAVOREEL

, MOOR

B D

, OVERSCHEE

P V

. Subspace state space system identification for industrial processes[J]. Journal of Process Control, 2000, 10(2/3): 149-155.

［35］

KADALI

, HUANG

, ROSSITER

. A data driven subspace approach to predictive controller design[J]. Control Engineering Practice, 2003, 11(3): 261-278.

2025年第54卷第4期

PDF下载

119

引用本文

BibTeX

文章信息

doi: 10.19666/j.rlfd.202406175

接收时间：2024-06-13
首发时间：2026-03-06
出版时间：2025-04-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-06-13

基金

National Natural Science Foundation of China(62373149)

国家自然科学基金项目(62373149)

Fundamental Research Funds for the Central Universities(2023JC001)

中央高校基本科研业务费学科交叉创新专项(2023JC001)

作者信息

^1.华北电力大学控制与计算机工程学院，北京　102206

^2.电站能量传递转化与系统教育部重点实验室，北京　102206

^3.西安热工研究院有限公司，陕西　西安　710054

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/rlfd/CN/10.19666/j.rlfd.202406175

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT

项目	90%额定负荷	40%额定负荷
有功功率被控变量/MW	857.872	450.310
主蒸汽压力被控变量/MPa	29.086	15.574
分离器出口温度被控变量/℃	448.735	399.538
阀门开度控制变量/%	44.749	27.505
给煤量控制变量/(t·h^–1)	396.946	197.166
给水量控制变量/(t·h^–1)	2 374.120	1 169.924

项目

90%额定负荷

40%额定负荷

有功功率被控变量/MW

857.872

450.310

主蒸汽压力被控变量/MPa

29.086

15.574

分离器出口温度被控变量/℃

448.735

399.538

阀门开度控制变量/%

44.749

27.505

给煤量控制变量/(t·h^–1)

396.946

197.166

给水量控制变量/(t·h^–1)

2 374.120

1 169.924

项目	数值
Critic网络学习率	0.000 1
Actor网络学习率	0.001
折扣因子	0.99
经验池大小	10⁶
目标平滑因子	0.001
最大迭代次数	1 000
平均窗口长度	30
样本学习个数	128

项目

数值

Critic网络学习率

0.000 1

Actor网络学习率

0.001

折扣因子

0.99

经验池大小

10⁶

目标平滑因子

0.001

最大迭代次数

1 000

平均窗口长度

样本学习个数

128

算法1：SAC算法伪代码
1	初始化critic网络，目标critic网络和目标actor网络权重
2	初始化经验回放池 $R ← ∅$
3	for e=1→E do
4	获取环境初始状态 $s t$
5	for t=1→T do
6	根据当前策略选择动作 $a t = π θ (s t)$
7	执行当前动作 $a t$ ，获得当前动作奖励 $r t$
8	执行下一时刻状态 $s t + 1$
9	将 $(s t, a t, r t, s t + 1)$ 存入经验回放池R
10	end
11	for k=1→K do
12	从R中随机提取数据 ${(s t, a t, r t, s t + 1)}$
13	将参数输入critic网络生成Q₁、Q₂
14	采用随机梯度下降法更新Q网络
15	将参数输入critic网络生成目标Q₁，目标Q₂
16	更新目标Q网络
17	更新策略网络
18	更新熵正则项系数 $α$
19	end
20	end

算法1：SAC算法伪代码
1	初始化critic网络，目标critic网络和目标actor网络权重
2	初始化经验回放池 $R ← ∅$
3	for e=1→E do
4	获取环境初始状态 $s t$
5	for t=1→T do
6	根据当前策略选择动作 $a t = π θ (s t)$
7	执行当前动作 $a t$ ，获得当前动作奖励 $r t$
8	执行下一时刻状态 $s t + 1$
9	将 $(s t, a t, r t, s t + 1)$ 存入经验回放池R
10	end
11	for k=1→K do
12	从R中随机提取数据 ${(s t, a t, r t, s t + 1)}$
13	将参数输入critic网络生成Q₁、Q₂
14	采用随机梯度下降法更新Q网络
15	将参数输入critic网络生成目标Q₁，目标Q₂
16	更新目标Q网络
17	更新策略网络
18	更新熵正则项系数 $α$
19	end
20	end

算法1：SAC算法伪代码
1	初始化critic网络，目标critic网络和目标actor网络权重
2	初始化经验回放池 $R ← ∅$
3	for e=1→E do
4	获取环境初始状态 $s t$
5	for t=1→T do
6	根据当前策略选择动作 $a t = π θ (s t)$
7	执行当前动作 $a t$ ，获得当前动作奖励 $r t$
8	执行下一时刻状态 $s t + 1$
9	将 $(s t, a t, r t, s t + 1)$ 存入经验回放池R
10	end
11	for k=1→K do
12	从R中随机提取数据 ${(s t, a t, r t, s t + 1)}$
13	将参数输入critic网络生成Q₁、Q₂
14	采用随机梯度下降法更新Q网络
15	将参数输入critic网络生成目标Q₁，目标Q₂
16	更新目标Q网络
17	更新策略网络
18	更新熵正则项系数 $α$
19	end
20	end