热力发电

项目	数值
折扣因子	0.99
经验池大小	106
经验采样数	64
Actor网络学习率	0.000 1
Critic网络学习率	0.001
软更新系数	0.005
延迟更新参数	2

项目	数值
折扣因子	0.99
经验池大小	106
经验采样数	64
Actor网络学习率	0.000 1
Critic网络学习率	0.001
软更新系数	0.005
延迟更新参数	2

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	8.34	1.85
YMPC（T=4）	9.63	1.79
YMPC（T=5）	8.81	1.82
YMPC（T=6）	10.32	2.17

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	8.34	1.85
YMPC（T=4）	9.63	1.79
YMPC（T=5）	8.81	1.82
YMPC（T=6）	10.32	2.17

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	12.04	1.68
YMPC（T=4）	13.14	1.97
YMPC（T=5）	11.83	1.91
YMPC（T=6）	11.78	2.14

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	12.04	1.68
YMPC（T=4）	13.14	1.97
YMPC（T=5）	11.83	1.91
YMPC（T=6）	11.78	2.14

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	13.28	1.72
YMPC（T=4）	12.68	2.37
YMPC（T=5）	13.60	2.13
YMPC（T=6）	14.95	1.86

项目	平均偏航执行器使用率	平均功率损失率
YMPC-TD3	13.28	1.72
YMPC（T=4）	12.68	2.37
YMPC（T=5）	13.60	2.13
YMPC（T=6）	14.95	1.86

基于强化学习的风电机组偏航系统模型预测控制

PDF下载

桑申刚 ¹ , 李桂朋 ¹ , 王向伟 ¹ , 刘毅 ¹ , 王森 ¹ , 申向荣 ²

热力发电 | 低碳电力技术研究专题 2025,54(9): 86-94

收起

热力发电 | 低碳电力技术研究专题 2025, 54(9): 86-94

基于强化学习的风电机组偏航系统模型预测控制

全屏

桑申刚¹, 李桂朋¹, 王向伟¹, 刘毅¹, 王森¹, 申向荣²

作者信息

^1.华能新能源股份有限公司河北分公司，河北　石家庄　050011

^2.华北电力大学自动化系，河北　保定　071003

桑申刚（1982），男，工程师，主要研究方向为电力系统分析、运行与控制，shengang_sang@hnr.com.cn。

通讯作者:

申向荣（1999），男，硕士研究生，主要研究方向为风电机组偏航系统控制、偏航角校正，sxr1984063524@163.com。

Predictive control of wind turbine yaw system model based on reinforcement learning

Shengang SANG¹, Guipeng LI¹, Xiangwei WANG¹, Yi LIU¹, Sen WANG¹, Xiangrong SHEN²

Affiliations

^1.Huaneng New Energy Co., Ltd. Hebei Branch, Shijiazhuang 050011, China

^2.Department of Automation, North China Electric Power University, Baoding 071003, China

出版时间: 2025-09-25 doi: 10.19666/j.rlfd.202501006

文章导航

摘要

收起

提升风电机组偏航系统在多工况场景下的动态性能至关重要。基于此，提出了一种基于强化学习的风电机组偏航系统模型预测控制策略，通过双延迟深度确定性策略梯度（TD3）算法实现多目标参数动态优化。首先，针对功率损失率和偏航执行器使用率2个相互矛盾的控制目标，建立偏航系统的多步模型预测控制器（yaw model predictive control，YMPC）；其次，针对偏航系统的优化目标及风况特性设计双延迟深度确定性策略梯度（TD3）智能体的输入状态、动作和奖励机制，从而使用TD3智能体整定YMPC的权重系数和控制步长；最后，采用中国北方风电场典型日数据验证了该方法的有效性。结果表明，与固定控制参数的YMPC相比，所提出的策略显著提升了偏航系统的综合性能。

关键词

风电机组 / 偏航系统 / 强化学习 / 控制参数

Abstract

收起

It is crucial to improve the dynamic performance of the yaw system of wind turbines in multiple operating scenarios. Therefore, a predictive control strategy for wind turbine yaw system model based on reinforcement learning is proposed, which achieves multi-objective parameter dynamic optimization through the dual-delay depth deterministic policy gradient (TD3) algorithm. Firstly, a multi-step model predictive controller for the yaw system (YMPC) is established to address the conflicting control objectives of power loss rate and yaw actuator utilization rate. Secondly, based on the optimization objectives and wind conditions of the yaw system, a dual-delay depth deterministic strategy gradient (TD3) intelligent agent is designed to determine the input state, action, and reward mechanism of the YMPC. The TD3 intelligent agent is then used to tune the weight coefficients and control step size of the YMPC. Finally, the effectiveness of this method was validated using typical daily data from wind farms in northern China. The results indicate that the proposed strategy significantly improves the overall performance of the yaw system compared with the YMPC with fixed control parameters.

Key words

wind turbines / yaw system / reinforcement learning / control parameter

引用本文

桑申刚, 李桂朋, 王向伟, 刘毅, 王森, 申向荣. 基于强化学习的风电机组偏航系统模型预测控制. 热力发电, 2025 , 54 (9) : 86 -94 . DOI: 10.19666/j.rlfd.202501006

Shengang SANG, Guipeng LI, Xiangwei WANG, Yi LIU, Sen WANG, Xiangrong SHEN. Predictive control of wind turbine yaw system model based on reinforcement learning[J]. Thermal Power Generation, 2025 , 54 (9) : 86 -94 . DOI: 10.19666/j.rlfd.202501006

正文

收起

2024年，国家能源总局发布关于印发《2024年能源工作指导意见》，指出风力发电、光伏发电是发展的重中之重，截至2023年底，全国风电累计装机容量44 134万千瓦^[1]。因此，开发先进的风电机组控制技术以提高其发电效率是当前的研究热点。

风电机组的偏航控制指通过转动机舱位置来保证风机叶片始终正对风向^[2]。偏航失准不仅会导致能量损失，而且会缩短风电机组的使用寿命。据统计，偏航故障率在风电机组的所有故障中位列前三^[3]。因此，为了提升风电机组的经济效益，降低机组故障率，需要更加先进的风电机组偏航控制策略。传统偏航控制策略基于机舱顶部风速仪的滤波风向^[4]。然而，滤波后的风向测量值仅反映过去一段时间的机组偏航误差，偏航动作总是落后于风向的动态变化，同时传统的偏航控制方式的控制精度依赖于风向标的测量精度^[5-6]。

为了解决风向滞后、测风精度等问题，风向预测开始大量应用于偏航控制策略的研究中。文献[7]结合一维卷积神经网络和长短时记忆（LSTM）神经网络实现对风向的预测并结合风向变化来驱动机组偏航对风。文献[8]依赖激光雷达的精度进行短期风向预测来实现偏航驱动。然而，基于风向预测的偏航控制策略提高了发电效率的同时，却也忽略了风电机组载荷对风机整体寿命的影响。文献[9]提出综合疲劳分析和最优偏航控制成本函数来求出最佳偏航角以此优化目标风机的疲劳载荷，但是也并未充分考虑到机组发电效率问题。

针对上述情况，模型预测控制（MPC）作为一种能够实现多目标优化、可以在有限时间内获得最优控制集的控制策略，已经广泛应用于风电机组控制领域并且取得了较好的控制效果。文献[10]将风向预测模型和一步模型预测控制策略组合用于风电机组，并与工业控制方案相比，所提出的方案能够通过适量的偏航动作来减小偏航误差，提升风电机组发电量。然而，该策略使用了预定义的控制参数。模型预测控制中不同的控制参数对控制方法的潜在性能影响非常重要。如文献[11]提出了一种利用动态权重因子的自适应模型预测控制方法，该方法提高了变工况下系统的整体性能。文献[12]提出了一种基于模糊推导权重系数评估器的偏航模型预测控制方法，在改变权重因子的同时优化模糊规则和隶属度函数。文献[13]使用贝叶斯算法优化了MPC控制器的预测时域和权重系数。但模糊规则和贝叶斯算法都依赖专家知识和经验构造模型或规则，在应对模型不确定性和动态变化方面适应性较差，难以保证全局最优。因此需要一种不依赖于专家的先验知识和规则，能够根据环境变化自适应地优化控制参数的方法。

无模型强化学习算法为突破上述局限提供了新途径^[14-16]。文献[17]提出基于强化学习的风电机组转矩增益系数控制策略提高了机组在湍流风下的平均风能捕获效率。文献[18]提出的一种基于改进深度强化学习的风电场尾流优化控制策略在不同风速下均能有效优化尾流分布，可提升风电场整体功率最大至34%。文献[19]提出的无模型强化学习俯仰角控制器训练6个智能体来输出俯仰角控制输出，确保了控制器的稳定性。

因此，将强化学习模型应用于风电机组控制领域值得研究。目前一些学者通过对MPC控制参数的整定，极大改善了控制任务的性能，然而，鲜有对控制步长进行研究，MPC的控制步长是影响控制性能的关键参数，较短的控制步长可以提高控制的灵敏度和精度，但也会增加计算量和实时性要求；而较长的控制步长则可以降低计算负担，但可能导致控制性能下降^[20]。

针对上述问题，本文提出了一种基于强化学习整定多步模型预测控制器（yaw model predictive control，YMPC）参数的策略，首先建立YMPC，然后设计强化学习智能体的输入状态、动作和奖励机制，利用智能体在变工况情况下实时调整权重系数和控制步长，通过控制参数的实时优化来提高对风精度，减少偏航执行器的使用次数。

1　水平轴风电机组多步模型预测控制

收起

1.1　水平轴风机的偏航系统

本文所涉及的风机类型为双馈异步式，理论上风电功率P_ext可以表示为^[21]：

P ext = ρ A r C p (ω r, V o, β) V e 3 / 2

(1)

V e = V o cos (e) = V o cos (ω − θ)

(2)

式中：ρ为空气密度；A_r为转子面积；C_p(ω_r,V_o,β)为与转子转速ω_r、切入流风速V_o、桨距角β相关的气动功率系数；V_e为垂直于转子平面的有效风速；e为风向ω与机舱位置θ之间的偏航误差。

从式(1)、式(2)可以得出，最小化偏航误差e对风电机组的最大功率提取起着重要作用。风电机组的偏航控制系统结合所得风向的数据，使用偏航执行器调整机舱朝向，通过减小偏航误差e，使风轮始终面对风向，最大化风能捕获效率。

1.2　多步偏航模型预测控制系统

本文采用具有有限控制集的YMPC，YMPC通过跟踪风向来最大化发电量，同时避免偏航执行器的过度使用，所提出的YMPC的控制框图如图1所示，主要涉及多步预测模型、目标函数、有限控制集的构建以及YMPC的求解方法^[22]，该方法的具体内容如下。

1.2.1　多步预测模型

通过最小化偏航误差e来提升发电功率，选取偏航误差e作为状态变量，其一步预测模型为：

e (k + 1 | k) = ω (k + 1 | k) − θ (k + 1 | k)

(3)

式中：k为第k个采样周期；e(k+1|k)、ω(k+1|k)和θ(k+1|k)分别为一步偏航误差、一步风向和一步机舱位置的预测值。

机舱通过偏航控制系统以一定的偏航速率旋转，因此机舱位置预测值θ(k+1|k)为：

θ (k + 1 | k) = θ (k) + θ ˙ (k + 1) T

(4)

式中：θ(k)为第k个采用周期的机舱位置；T为控制步长；

θ ˙ (k + 1)

为第k+1个采样周期的偏航率。

由式(3)和式(4)得出偏航误差e(k+m|k)的m步预测模型为：

e (k + m | k) = ω (k + m | k) − θ (k) − (θ ˙ (k + m) + … + θ ˙ (k + 1)) T

(5)

1.2.2　目标函数

由式(1)可知，风电机组的风力提取与偏航误差具有余弦平方关系，所以使用α来评估功率损失率，可表示为：

α = (E ideal − E c) / E ideal = 1 − (∑ N = k + 1 k + m cos 2 (e (N))) / m

(6)

式中：E_ideal为在m步预测时域内不考虑偏航误差引起的功率损失的情况下捕获的理想风能；E_c为实际所捕获到的风能，可表示为：

E c = ∑ N = k + 1 k + m ρ A r C p (ω r, V o, β) V o 3 cos 2 (e (N)) / 2

(7)

偏航执行器使用率γ可表示为：

γ = c yaw / c total = (∑ N = k + 1 k + m (| θ ˙ (N) | > 0)) / m

(8)

式中：c_yaw为评估时间c_total内偏航执行器动作时间。

在式(6)—式(8)的基础上，通过权重系数ω∈[0,1]，将α和γ 2个控制器目标组合起来。因此，m步预测范围内的目标函数Q_F表达为：

Q F = (1 − ω) (1 − (∑ N = k + 1 k + m cos 2 (e (N))) / m) + ω (∑ N = k + 1 k + m (| θ ˙ (N) | > 0)) / m

(9)

1.2.3　有限控制集和约束

研究所涉及YMPC控制变量为横摆角速度，有3个可能的元素：

θ ˙ (j) = {− y aw_rate, y aw_rate, 0, j = 0 j = 1 j = 2

(10)

式中：

θ ˙ (j)

为与j有关的偏航率。

此外，因为本文所涉及的风电机组偏航系统是刚性系统，所以偏航率要受到如下约束：

θ ˙ (k + 1) = {θ ˙ (k + 1) {j = 0, 1, 2}, θ ˙ (k + 1) {j = 0, 1}, θ ˙ (k + 1) {j = 0, 2}, ∃ θ ˙ (k) {j = 0} ∃ θ ˙ (k) {j = 1} ∃ θ ˙ (k) {j = 2}

(11)

根据式(9)—式(11)提出的YMPC方法，需要求解横摆角速度的控制序列，而控制序列的数量取决于预测时域m的大小，通过文献[23]中提出的穷举搜索方法可以实现求解Q_F最小值的控制序列，该控制序列中的第一个动作作为下一控制周期的偏航动作。

2　基于TD3的YMPC控制参数整定

收起

本文提出的基于双延迟深度确定性策略梯度的偏航系统多步模型预测控制（YMPC-TD3）总体控制框图如图2所示。

2.1　TD3算法结构

强化学习是一种典型的经验驱动、自主学习的方法，它通过智能体与环境的互动来探寻最佳行为策略^[24]。其中TD3算法是目前较为先进的强化学习算法之一。此算法的强化学习过程为：智能体感知环境状态（states），依据既定策略（policy）采取行动（actions），从而获取奖励（reward）以改善智能体自身表现^[24]，其整体网络结构如图3所示。

TD3算法由Actor网络和Actor目标策略网络、2个独立的Critic网络及Critic目标网络6个网络组成。Actor网络负责构建状态到动作的映射，为智能体在各种状态下选择行动提供指导^[25]。Actor网络的更新通过确定性策略梯度算法实现：

∇ ϕ J (ϕ) = E s ~ p π [∇ a Q π (s, a) | a = π (s) ∇ ϕ π (s)]

(12)

Q π (s, a) = E s ~ p π, a ~ π [R t | s, a]

(13)

式中：

∇

为权重参数的梯度；Q^π(s, a)为状态s下执行动作a的Q函数；

E s ~ p π

为状态s下采用策略π所作出动作时的预期收益。

Critic网络用于建立状态到价值的映射，以评估Actor网络建立映射的价值，被称为价值Q函数。在传统的强化学习模型中，价值网络常常高估由Actor网络生成动作的价值，即其估计的Q值往往高于实际的Q值^[26]。为解决此问题，TD3采用了双重Critic网络，分别对应2个Q函数，记作Q₁(s_t,a_t)和Q₂(s_t,a_t)，取两者的最小值作为Critic网络的结果。此外，Critic网络和Critic目标策略网络的评估函数基于贝尔曼方程进行延迟学习^[27]：

Q π (s, a) = r + ϒ E s',~a' [Q π (s', a')], a' ~ π (s')

(14)

式中：

(s', a')

为下一时刻的状态和动作。

此外，还加入了目标策略噪声抑制确定性策略中出现的估值函数过拟合问题^[28]：

γ = r + γ min (Q θ1, Q θ2) (s', π ϕ' (s') + ε)

(15)

ε = clip (N (0, σ), − c, c)

(16)

式中：ε为高斯噪声；c为策略平滑噪声的截断边界值；clip为截断函数。

同时，Actor网络的更新频率应该低于评估网络，因此采用一种软更新策略^[29]：

θ i = τ θ i + (1 − τ) θ i

(17)

ϕ' = τ ϕ + (1 − τ) ϕ'

(18)

式中：τ为软更新率。

2.2　YMPC-TD3控制器设计

2.2.1　动作空间

动作空间即智能体所采取的动作，本文需要使用TD3整定的参数为控制步长T和权重系数ω，控制步长的选取需要限定在一定范围内，控制步长过长或者过短都会影响系统的灵敏度和稳定性，同时需要控制权重系数ω在一定范围内以防偏航系统锁死，所以设计动作空间a为：

{a = [ω T] ω l < ω < ω h T l ≤ T ≤ T h

(19)

式中：ω_l、ω_h分别为ω的下限值和上限值；T_l、T_h分别为T的下限值和上限值。

2.2.2　状态空间

状态空间是强化学习与环境交互的核心，状态空间包括YMPC在控制参数整定时所需的信息，状态空间选取为：

s t = [e (k), Inc m, Rt m]

(20)

式中：e(k)为风机当前时间步的偏航误差；Inc_m、Rt_m分别为预测范围m步内的预测风向的增量和预测风向的变化率。

其中Inc_m、Rt_m计算公式分别为：

Inc m = ABS (ω (k + m | k) − θ (k + 1 | k))

(21)

Rt m = ∑ i = 1 m (ω (k + i | k) − mean (ω)) 2 / m

(22)

式中：ABS表示绝对值；mean表示预测风向的平均值。

2.2.3　奖励机制

奖励函数的设计是强化学习策略不断进步的基础，设计合理的奖励对YMPC的参数整定起着引导性的作用，奖励函数包括正奖励和负奖励，正奖励鼓励智能体更快完成学习任务，负奖励避免智能体做出不利于系统的行为^[29]。

本文所设计的奖励函数R由目标函数奖励项r₁，权重系数变化率奖励项r₂和控制步长变化率奖励项r₃组成：

R = r 1 + r 2 + r 3

(23)

奖励函数的设计是为了让机组偏航系统适应不同的工况且使得质量函数Q_F最小化，故有：

r 1 = {k 1 (1 − lg Q F) ， 0 < Q F < 0.1 − 200 ， 0.1 ≤ Q F

(24)

式中：k₁为r₁奖励项的权重。

由于参数的变动会导致系统稳定性影响，因此对权重系数ω的一阶导数和控制步长T的一阶导数设置了惩罚，期望强化学习策略不断进步的基础上，保持参数变化的稳定性，奖励r₂、r₃分别为：

r 2 = k 2 (1 − | ω ˙ | ω ˙ o)

(25)

r 3 = k 3 (1 − | T ˙ | T ˙ O)

(26)

式中：

ω ˙ o

、

T ˙ O

分别为权重系数ω和控制步长T的一阶导数阈值；k₂、k₃分别为r₂和r₃奖励项的权重。

3　算法验证

收起

选取河北某风电场的典型日的风向数据，风向状况会影响偏航控制系统的性能，本文选取了3个典型日的风向数据，如图4所示。

量化风向变化状况的风向变化量δ(ω)为：

δ (ω) = (∑ k = 2 N (ω (k) − ω (k − 1)) 2) / (N − 1), N = 86400

(27)

本文使用具有不同控制步长的3个YMPC与所提出的YMPC-TD3作对比。偏航率设置为0.5°/s，权重系数ω设置为0.015，3个YMPC的控制步长参数分别为T=4、5、6，所提出的YMPC建立在MATLAB软件上，并且在内存为4 GB、CPU为1.6 GHz的笔记本电脑上运行。YMPC-TD3主要超参数见表1。

3.1　预训练

为确保偏航动作的持续性与系统动态响应相匹配，结合偏航执行器约2 s的启动延迟特性，控制步长需满足T>T_start（T_start=2 s）。为避免步长过长引发控制精度衰减，同时抑制步长过短导致的频繁动作，基于系统稳定性与灵敏度的权衡分析，设定控制步长参数范围为T∈[4,10] s。此外，为避免权重系数极端值引起的控制目标失衡，动作空间中的权重系数ω被约束为ω∈[0,0.15]。奖励函数中k₁、k₂和k₃分别设置为20、100和100。训练轮次为400轮，每轮训练3 000步，实际的训练过程奖励如图5所示。由图5可以看到，在前150个回合，智能体通过不断尝试使得奖励不断上升，当训练轮次达到200次以后，奖励趋于收敛。

3.2　性能比较

为了评估本文提出的控制策略的性能，需选取3个典型日（风向变化量分别为3.64、5.76和7.15）进行对比分析。首先基于典型日1数据对YMPC（T=4）、YMPC（T=5）、YMPC（T=6）及YMPC-TD3进行性能验证，随后扩展至典型日2、典型日3考察多风况下的综合表现。

3.2.1　控制器性能比较

图6显示了典型日1下YMPC（T=4）、YMPC（T=5）、YMPC（T=6）和YMPC-TD3的仿真结果。将4个控制器的结果集中起来，通过偏航误差以及1.2.2节目标函数中的偏航执行器使用率和功率损失率来评估控制器的性能。图6显示4个YMPC控制器都在一定程度上实现了风向跟踪，4个控制器都处于正常工作状态。然而，不同控制器下的偏航误差、偏航执行器使用率和功率损失率存在一定的差异。偏航误差可根据1.2.2小节中的式(6)来衡量，因此此处仅考虑功率损失率和偏航执行器使用率。图6c)和图6d)显示YMPC（T=4）的偏航致动器使用率（9.63%）排在第3位，处于次优水平，同时它的功率损失达到最优值（1.79%），而YMPC-TD3损失的功率与YMPC（T=5）相近，相比YMPC（T=5）增加了0.03百分点，但是其偏航致动器使用率最小（8.34%），综合性能良好。

图7展示了YMPC-TD3策略中权重系数动态调整对系统性能的影响。

由图7仿真结果表明，功率损失率虽呈现小幅度波动，但是整体呈现上升的趋势（增幅约0.6%）；而偏航执行器使用率的变化趋势较为明显，随着权重系数的增加，偏航执行器使用率呈现下降的趋势（降幅达12%）。这些变化可以由式(6)—式(9)直观解释，随着ω的增加，α在目标函数Q_F中占比降低，YMPC在计算最佳控制动作时将更侧重于考虑降低偏航执行器使用率，从而产生权重系数与偏航执行器使用率负相关、与功率损失率正相关的现象。

为了进一步比较结果，将典型日1下YMPC（T=4）、YMPC（T=5）、YMPC（T=6）和YMPC-TD3的平均偏航执行器使用率和平均功率损失率的具体数值汇总于表2。由表2可见，在4种YMPC中，本文提出的YMPC-TD3控制器的综合性能最好。

3.2.2　不同风况敏感性分析

为探究不同风向动态特性对控制策略的影响，本文进一步分析了不同风向变化量下各控制器的性能。表3和表4显示了典型日2和典型日3时4种YMPC控制器的仿真结果。

由表3和表4可以看到，YMPC-TD3的综合性能（偏航执行器使用率12.04%和13.28%，功率损失率1.68%和1.72%）仍然优于YMPC。还可以观察到，风向变化量越大，偏航执行器使用率会随之增大，而功率损失率在不同YMPC控制器下有所不同。本文以YMPC-TD3和YMPC（T=5）的控制结果为例进行分析。

图8展示了YMPC（T=5）和YMPC-TD3在3个典型日下的偏航执行器使用率。由图8可见，随着风向状况复杂，偏航执行器使用率会随之增加。

图9为3个典型日的功率损失率。由图9可见，YMPC（T=5）在典型日1和典型日2的功率损失率相差不大，而典型日3的偏航执行率在其中最大，相比较于典型日1和典型日2下分别增加了4.79百分点和1.77百分点，但是功率损失率也最大，相较于典型日1增加了0.31百分点。YMPC-TD3在典型日1的功率损失率最大，在典型日2的功率损失率最小（相对降低0.17百分点），典型日3居中（相对降低0.13百分点）。结果表明，本文提出的YMPC-TD3在风况变化的情况下，依旧能维持其基本性能，改善普通的YMPC在风向情况复杂条件下无法减小功率损失的问题，减少了无效偏航。

4　结论

收起

为了提升偏航系统综合性能，应对风况变化，本文提出了一种基于强化学习的风电机组偏航系统模型预测控制策略，该方法通过TD3算法对YMPC的控制参数进行整定。YMPC的性能受到机组工况的影响，因此设置机组运行工况信息作为智能体输入的状态，以目标函数Q_F最小化和参数稳定性为目标制定奖励函数，通过智能体输出的动作实时调整YMPC的权重系数和控制步长，并且利用典型日数据，仿真验证了所提方法的有效性。

1）通过TD3算法整定YMPC的控制参数，并利用典型日进行仿真，结果表明，与普通的YMPC相比，本文所提出的YMPC-TD3综合性能更佳。

2）在动态风向条件下，普通YMPC策略虽提高了偏航执行器动作频率，却未能有效降低风机功率损耗。本文提出的YMPC-TD3算法通过优化控制参数，在维持偏航执行器执行器合理使用率的同时，与典型日1相比分别将功率损耗降低了0.17百分点和0.13百分点，实现了复杂风向状况下偏航系统综合性能的提升。

3）本文所提出的TD3参数整定仅仅是针对权重系数和控制步长进行整定，而对预测时域整定的问题值得进一步研究。

基金

收起

中国华能集团有限公司总部科技项目(HNKJ22-HF69)

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

［1］

国家能源局. 2024年能源工作指导意见[EB/OL]. (2024-04-01)[2025-01-10]. https://www.nea.gov.cn.

National Energy Administration. Guiding opinions on energy work in 2024[EB/OL]. (2024-04-01) [2025-01-10]. https://www.nea.gov.cn.

［2］

肖玥, 封焯文, 余子鹏, 等. 基于风向预测的新型偏航控制方法[J]. 太阳能学报, 2021, 42(2): 144-149.

XIAO

Yue

, FENG

Zhuowen

, YU

Zipeng

, et al. A novel yaw control method for wind turbines based on predicted wind directions[J]. Acta Energiae Solaris Sinica, 2021, 42(2): 144-149.

［3］

PÉREZ

P M J

, MÁRQUEZ

G P F

, TOBIAS

, et al. Wind turbine reliability analysis[J]. Renewable and Sustainable Energy Reviews, 2013, 23: 463-472.

［4］

沈小军, 杜万里. 大型风力发电机偏航系统控制策略研究现状及展望[J]. 电工技术学报, 2015, 30(10): 196-203.

SHEN

Xiaojun

, DU

Wanli

. Expectation and review of control strategy of large wind turbine yaw system[J]. Transactions of China Electrotechnical Society, 2015, 30(10): 196-203.

［5］

曹弘, 孙建平. 风力发电机偏航系统控制策略研究[J]. 电力设备管理, 2019(2): 81-83.

CAO

Hong

, SUN

Jianping

. Expectation and review of control strategy of large wind turbine yaw system[J]. Electric Power Equipment Management, 2019(2): 81-83.

［6］

谭芝, 陈众, 汤敏, 等. 风力发电机组偏航优化控制方法[J]. 电力学报, 2014, 29(1): 66-69.

TAN

Zhi

, CHEN

Zhong

, TANG

Min

, et al. Wind turbine yaw optimal control method[J]. Journal of Electric Power, 2014, 29(1): 66-69.

［7］

叶锋, 林周泉, 李宁波, 等. 一种基于CNN-LSTM风向预测的风电机组偏航控制方法[J]. 电气时代, 2022(9): 43-46.

Feng

, LIN

Zhouquan

, LI

Ningbo

, et al. A wind turbine yaw control method based on CNN-LSTM wind direction prediction[J]. Electric Age, 2022(9): 43-46.

［8］

CHEN

, LIU

, LIN

, et al. LSTM-NN yaw control of wind turbines based on upstream wind information[J]. Energies, 2020, 13(6): 1482.

［9］

RUIYANG

, HONGXING

, LIN

. Optimal yaw strategy and fatigue analysis of wind turbines under the combined effects of wake and yaw control[J]. Applied Energy, 2023, 337: 223.

［10］

SONG

, FAN

, YANG

, et al. Power extraction efficiency optimization of horizontal-axis wind turbines through optimizing control parameters of yaw control systems using an intelligent method[J]. Applied Energy, 2018, 224: 267-279.

［11］

ZHANG

, HUANG

, SONG

, et al. Model predictive yaw control using fuzzy-deduced weighting factor for large-scale wind turbines[J]. Energy Engineering, 2021, 118(2): 237-250.

［12］

SONG

, LI

, DENG

, et al. Deep optimization of model predictive control performance for wind turbine yaw system based on intelligent fuzzy deduction[J]. Expert Systems with Applications, 2023, 221: 119705.

［13］

吴西涛, 魏超, 翟建坤, 等. 考虑横摆稳定性的无人车轨迹跟踪控制优化研究[J]. 机械工程学报, 2022, 58(6): 130-142.

Xitao

, WEI

Chao

, ZHAI

Jiankun

, et al. Study on the optimization of autonomous vehicle on path-following considering yaw stability[J]. Chinese Journal of Mechanical Engineering, 2022, 58(6): 130-142.

［14］

高阳, 陈世福, 陆鑫. 强化学习研究综述[J]. 自动化学报, 2004, 30(1): 86-100.

GAO

Yang

, CHEN

Shifu

, LU

Xin

. Research on reinforcement learning technology: a review[J]. Journal of Automatica Sinica, 2004, 30(1): 86-100.

［15］

柯恺宸, 金士博, 高博扬, 等. 基于强化学习的机器人多接触交互任务控制[J]. 动力学与控制学报, 2023, 21(12): 53-69.

Kaichen

, JIN

Shibo

, GAO

Boyang

, et al. A survey of robot intelligent control method in contact-rich tasks[J]. Journal of Dynamics and Control, 2023, 21(12): 53-69.

［16］

陈帅. 基于强化学习的微电网能量管理与调度[D]. 北京: 北京科技大学, 2024: 1.

CHEN

Shuai

. Microgrid energy management and dispatching based on reinforcement learning[D]. Beijing: University of Science and Technology Beijing, 2024: 1.

［17］

王宇. 基于强化学习的风电机组转矩控制优化策略研究[D]. 沈阳: 沈阳工业大学, 2024: 1.

WANG

. Research on optimization strategy of wind turbine torque control based on reinforcement learning[D]. Shenyang: Shenyang University of Technology, 2024: 1.

［18］

张勇, 刘春, 褚梦珂, 等. 计及尾流的改进深度确定性策略梯度风电场功率优化控制策略[J]. 电力系统及其自动化学报, 2025, 37(2): 68-77.

ZHANG

Yong

, LIU

Chun

, CHU

Mengke

, et al. Improved deep deterministic policy gradient for wind farm power optimal control strategies accounting for wake effect[J]. Proceedings of the CSU-EPSA, 2025, 37(2): 68-77.

［19］

NABEEL

, LASHEEN

, ELSHAFEI

L A

, et al. Fuzzy-based collective pitch control for wind turbine via deep reinforcement learning[J]. ISA Transactions, 2024, 148: 307-325.

［20］

黄益绍, 王博, 李晨艳, 等. 自适应MPC智能车轨迹跟踪控制[J]. 中国测试, 2025, 51(2): 169-175.

HUANG

Yishao

, WANG

, LI

Chenyan

, et al. Intelligent vehicle trajectory tracking control based on adaptive MPC[J]. China Measurement & Test, 2025, 51(2): 169-175.

［21］

胡兵, 海玲, 程丽娟, 等. 小型风力发电机偏航控制系统实验研究[J]. 微电机, 2020, 53(6): 64-67.

Bing

, HAI

Ling

, CHENG

Lijuan

, et al. Experimental study on yaw control system of small wind turbine[J]. Micromotor, 2020, 53(6): 64-67.

［22］

SONG

, LI

, WANG

, et al. Energy capture efficiency enhancement of wind turbines via stochastic model predictive yaw control based on intelligent scenarios generation[J]. Applied Energy, 2022, 312: 118773.

［23］

SONG

D R

, LI

Q A

, CAI

Z L

, et al. Model predictive control using multi-step prediction model for electrical yaw system of horizontal-axis wind turbines[J]. IEEE Transactions on Sustainable Energy, 2019, 10(4): 2084-2093.

［24］

顾雪平, 刘彤, 李少岩, 等. 基于改进双延迟深度确定性策略梯度算法的电网有功安全校正控制[J]. 电工技术学报, 2023, 38(8): 2162-2177.

Xueping

, LIU

Tong

, LI

Shaoyan

, et al. Active power correction control of power grid based on improved twin delayed deep deterministic policy gradient algorithm[J]. Transactions of China Electrotechnical Society, 2023, 38(8): 2162-2177.

［25］

李志军, 徐博, 张家安, 等. 基于TD3可变长度时间窗口最优加权的短期负荷预测策略[J]. 电力建设, 2024, 45(6): 140-148.

Zhijun

, XU

, ZHANG

Jiaan

, et al. Short-term load optimal weighted forecasting strategy based on TD3 variable length time window[J]. Electric Power Construction, 2024, 45(6): 140-148.

［26］

管超骏, 雷正玲, 霍海波, 等. 基于强化学习的固体氧化物燃料电池输出电压自抗扰控制研究[J]. 发电技术, 2024, 45(6): 1163-1172.

GUAN

Chaojun

, LEI

Zhengling

, HUO

Haibo

, et al. Study on active disturbance rejection control of output voltage of solid oxide fuel cell based on reinforcement learning[J]. Power Generation Technology, 2024, 45(6): 1163-1172.

［27］

陈佐明, 詹捷宇. 基于TD3算法的自动协商策略[J]. 计算机系统应用, 2023, 32(3): 15-24.

CHEN

Zuoming

, ZHAN

Jieyu

. Automatic negotiation strategy based on TD3 algorithm[J]. Computer Systems & Applications, 2023, 32(3): 15-24.

［28］

周娴玮, 包明豪, 叶鑫, 等. 带Q网络过滤的两阶段TD3深度强化学习方法[J]. 计算机技术与发展, 2023, 33(10): 101-108.

ZHOU

Xianwei

, BAO

Minghao

, YE

Xin

, et al. Two-stage TD3 deep reinforcement learning algorithm with Q network filtration[J]. Computer Technology and Development, 2023, 33(10): 101-108.

［29］

喻磊, 谈竹奎, 王扬, 等. 基于深度强化学习的电动汽车有序充电优化方法[J]. 南方电网技术, 2024, 18(12): 148-155.

Lei

, TAN

Zhukui

, WANG

Yang

, et al. Deep reinforcement learning based optimization method for ordered charging of electric vehicle[J]. Southern Power System Technology, 2024, 18(12): 148-155.

2025年第54卷第9期

PDF下载

103

引用本文

BibTeX

文章信息

doi: 10.19666/j.rlfd.202501006

接收时间：2025-01-22
首发时间：2026-03-05
出版时间：2025-09-25

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2025-01-22

基金

Science and Technology Project of China Huanneng Group Co., Ltd.(HNKJ22-HF69)

中国华能集团有限公司总部科技项目(HNKJ22-HF69)

作者信息

^1.华能新能源股份有限公司河北分公司，河北　石家庄　050011

^2.华北电力大学自动化系，河北　保定　071003

通讯作者:

申向荣（1999），男，硕士研究生，主要研究方向为风电机组偏航系统控制、偏航角校正，sxr1984063524@163.com。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/rlfd/CN/10.19666/j.rlfd.202501006

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT