可再生能源

风机数量	改进前仿真时间/s	改进后仿真时间/s
28	933.70	110.43

风机数量	改进前仿真时间/s	改进后仿真时间/s
28	933.70	110.43

序号	偏航/(°)	序号	偏航/(°)	序号	偏航/(°)	序号	偏航
1	28	9	-10	17	12	25	0
2	24	10	-20	18	26	26	0
3	-8	11	0	19	0	27	0
4	0	12	0	20	30	28	0
5	2	13	-12	21	0	提升功率
6	-4	14	0	22	0	834.28 kW
7	-4	15	24	23	0	提升百分比
8	-6	16	16	24	0	1.74%

序号	偏航/(°)	序号	偏航/(°)	序号	偏航/(°)	序号	偏航
1	28	9	-10	17	12	25	0
2	24	10	-20	18	26	26	0
3	-8	11	0	19	0	27	0
4	0	12	0	20	30	28	0
5	2	13	-12	21	0	提升功率
6	-4	14	0	22	0	834.28 kW
7	-4	15	24	23	0	提升百分比
8	-6	16	16	24	0	1.74%

基于尾流加速估计与强化学习的风机偏航优化方法

PDF下载

陈玥 ¹ , 刘洋 ¹ , 陆秋瑜 ¹ , 谢平平 ¹ , 丁俐夫 ²

可再生能源 | 2025,43(4): 484-490

收起

可再生能源 | 2025, 43(4): 484-490

基于尾流加速估计与强化学习的风机偏航优化方法

全屏

陈玥¹, 刘洋¹, 陆秋瑜¹, 谢平平¹, 丁俐夫²

作者信息

¹ 广东电网有限公司调度控制中心广东广州 510600

² 清华大学电机工程与应用电子技术系北京 100084

陈玥(1998-),女,硕士,高级工程师,主要从事新能源与储能相关工作。

通讯作者:

丁俐夫(1996-),男,博士,助理研究员,研究方向为电力系统优化运行与控制。E-mail:dinglifu@mail.tsinghua.edu.cn 。

An optimization method for wind turbine yaw control based on accelerated wake estimation and reinforcement learning

Yue Chen¹, Yang Liu¹, Qiuyu Lu¹, Pingping Xie¹, Lifu Ding²

Affiliations

¹ Power Grid Dispatching Control Center of Guangdong Power Grid Co., Ltd. Guangzhou 510600 China

² Department of Electrical Engineering Tsinghua University Beijing 100084 China

出版时间: 2025-04-20

文章导航

摘要

收起

随着新能源发电扩容及海上风电的兴起,风电场控制愈发关键。文章聚焦尾流效应模型优化与风电场智能化控制,通过改进 Gaussian FLORIDyn 模型的尾流估算,借助区域剪枝加速算法,在确保精确度的前提下提升仿真速度。此外,文章提出了一种图卷积网络代理模型引导的多智能体强化学习算法,该模型依据风场尾流关联构建,深刻理解风机间复杂动力学,增强功率预测能力。多智能体强化学习算法利用分区奖励共享机制,提高了寻优效率。在仿真测试中,评估了剪枝操作对性能提升的效果,并对生成的尾流控制策略进行了验证。结果证明,通过对尾流效应的精细建模和主动尾流控制策略的创新设计,为解决风电场控制问题提供了有价值的理论和技术支持。

关键词

偏航优化 / 尾流估计 / 高斯 FLORIDyn / 多智能体强化学习 / 高性能仿真

Abstract

收起

As China's new energy capacity grows and offshore wind power advances, controlling wind farms becomes more crucial. The study focuses on wake effect modeling and active control strategies within wind farm clusters. It optimizes wake estimation using the Gaussian FLORIDyn model, with search area pruning to speed up calculations without sacrificing precision or efficiency. A novel multiagent reinforcement learning method, guided by a GCNbased proxy wake model, is introduced. This model, grounded in wind farm wake dynamics, captures complex turbine interactions affecting output. Enhanced by wake aware reward sharing, the system improves optimization. Simulations test pruning's benefits and validate control strategies, confirming that advanced wake modeling and control tactics significantly contribute to solving wind farm control problems.

Key words

yaw optimization / wake estimation / gaussian FLORIDyn / multi-agent reinforcement learning / high-performance simulation

引用本文

陈玥, 刘洋, 陆秋瑜, 谢平平, 丁俐夫. 基于尾流加速估计与强化学习的风机偏航优化方法. 可再生能源, 2025 , 43 (4) : 484 -490 .

Yue Chen, Yang Liu, Qiuyu Lu, Pingping Xie, Lifu Ding. An optimization method for wind turbine yaw control based on accelerated wake estimation and reinforcement learning[J]. Renewable Energy Resources, 2025 , 43 (4) : 484 -490 .

正文

收起

0 引言

收起

根据 2023 年中国风电产业发展报告的数据显示 ^{[ 1 ]} ,截至 2022 年,我国风电产业累计并网装机容量已达到 3.65 亿 kW 的规模。风电产业的规模化扩张也引发了对风电场控制问题的深入研究。鉴于贝茨极限的制约, 提升单个风力发电机的发电效率变得十分困难 ^{[ 2 ]} ,因此,如何减轻风机间尾流效应成为风电场控制的核心议题。尾流区域内后排风机的有效功率输出会受到负面影响 ^{[ 3 ]} , 考虑两组机组之间的距离差异, 下游风电机组的发电量损失可能高达 40%,同时载荷最大可增加 ${45}\% $ ^{[ 4 ]} 。

为了针对大型风电场实施有效的尾流控制策略,建立一个精确的尾流模型至关重要。美国国家可再生能源实验室开发了高精度风电场模拟工具 Simulator for Wind Farm Applications (SOWFA) ^{[ 5 ]} , 由于计算复杂度高且运算速度慢, 在实际工程控制应用中面临挑战。丹麦国家实验室提出了一种完备的线性 Jensen 模型 ^{[ 6 ]} ,广泛用于描述风机后方尾流区域的发展状况 ^{[ 7 ]} 。文献[ 8 ]将 Jensen 尾流模型与偏航风机转向模型相结合, 形成了参数化 Zone FLORIS 模型。文献[ 9 ]利用 FLORIS 模型开发出了 FLORIDyn 模型。高斯模型 ^{[ 10 ]} 进一步催生了高斯 FLORIS 和高斯 FLORIDyn 模型 ^{[ 11 ]} 。

在尾流控制策略层面, 传统风电场控制多采用最大功率点跟踪控制, 通过在风速变化后迅速调整风轮转速 ^{[ 12 ]} ,典型算法包括叶尖速比算法、爬山搜索算法、最优转矩算法等 ^{[ 13 - 15 ]} 。然而,由于尾流效应的存在, 单纯依赖最大功率点跟踪的方法无法实现风电场整体功率的最大化。主动尾流控制策略(Active Wake Control, AWC)基于尾流重定向, 通过主动偏航使得上游尾流远离下游风机, 从而提高了下游风机的输入风速和输出功率, 减少了尾流效应影响并最大化风电场总发电量。文献[ 16 ]利用 BP 神经网络对 Jensen 尾流模型进行修正拟合,基于深度 $\mathrm{Q}$ 网络建立风电机组限功率控制模型。文献[ 17, 18 ] 基于深度神经网络建立了尾流模型, 并基于机器学习方法生成主动尾流控制策略。文献[ 19 ]通过强化学习实现了主动尾流控制的方式和细节, 并与贪婪控制策略进行了对比分析。然而,现有控制策略沿用的集中式控制方法在增加计算负担的同时, 未能有效开发多机协同控制的优势 ^{[ 20 ]} 。另一方面,现有控制策略通常面对特定的风况条件, 对不确定性风况的泛化能力不足。

因此, 本文运用搜索剪枝技术加速尾流估算, 优化了高斯 FLORIDyn 模型, 在确保精度的同时, 大幅提高了效率。在此基础上,建立了高效的风场尾流代理模型, 并采用全分布式多智能体强化学习优化偏航控制, 以应对复杂风况, 实现风电场功率最大化。在 28 台风机的风电场测试中, 该策略对多种风况的平均功率提升达 1.32%,超越了传统贪心策略,验证了模型与策略的有效性。

1 风电场尾流模型

收起

1.1 尾流关系矩阵

在 zone Floridyn 模型中 ^{[ 8 ]} 引入观测点(OP)这一概念, 以实现对风电场的尾流效应及其影响进行观测。每个时间步长, 每台风机的转子平面均会产生相同数目的$\mathrm{{OP}}\mathrm{s}$。每个$\mathrm{{OP}}$在产生的时刻均会继承风机当时的尾流衰减因子${\mathrm{{OP}}}_{\mathrm{r}}$以及湍流强度${\mathrm{{OP}}}_{\mathrm{i}}\mathrm{f}$。随着$\mathrm{{OPs}}$的向后传播,当$\mathrm{{OPs}}$到达其他风机转子平面时,将会对其他风机的有效风速$u$以及湍流强度$I$产生影响。对于总风机台数为${n}_{\mathrm{T}}$的风电场, 由 OP 实现对有效风速的估计计算方法为

(1)${u}_{\mathrm{{eff}},\mathrm{T}} = \mathop{\sum }\limits_{{i = 1}}^{{n}_{\mathrm{{OP}}}}\left\lbrack {{w}_{i}{u}_{\text{free },\mathrm{{OP}}, i}{\left( \frac{{z}_{\mathrm{{OP}}, i}}{{z}_{0}}\right) }^{\alpha }\mathop{\prod }\limits_{{j = 1}}^{{n}_{\mathrm{T}}}\left( {1 - {r}_{j,\mathrm{{OP}}i}}\right) }\right\rbrack$

式中:${u}_{\mathrm{{eff}},\mathrm{T}}$为风机的有效风速;${n}_{\mathrm{{OP}}}$为风机平面新产生$\mathrm{{OPs}}$的总数;${w}_{i}$为每个$\mathrm{{OP}}$计算有效风速时所占的权重,且满足$\sum {w}_{i} = 1;{u}_{\text{free },\mathrm{{OP}}, i}$为环境风速;${z}_{\mathrm{{OP}}, i}$为每个$\mathrm{{OP}}$的高度;${z}_{0}$为风机涡轮中心的高度;${r}_{j,\mathrm{{OP}}i}$为此$\mathrm{{OP}}$受第$j$台风机影响的衰减。

一台风机的有效风速的计算方式, 是通过计算当前 OPs 的有效风速加权和。因此,如果衡量第$i$台风机对于下游第$j$台风机的影响程度,可以推导得到:

(2)${\sigma }_{ij} = \mathop{\sum }\limits_{{k = 1}}^{{n}_{\mathrm{{OP}}, j}}{w}_{k}\left( {1 - {r}_{i,\mathrm{{OP}}k}}\right)$

将第$j$台风机当前时刻风机平面上的$\mathrm{{OPs}}$, 受第$i$台风机尾流影响的程度$\left( {1 - {r}_{i,\mathrm{{OP}}k}}\right)$与相应$\mathrm{{OP}}$的权重${w}_{k}$相乘并且叠加,就可以算出第$i$台风机对于第$j$台风机有效风速的整体影响${\sigma }_{ij}$。${\sigma }_{ij}$越接近于 0,代表风机$i, j$之间的尾流影响越小,越接近 1 则代表影响程度越大。当计算完所有风机之间的尾流关系,就可以得到尾流关系矩阵。

(3)$\mathbf{R} = \left\lbrack \begin{matrix} {\mathbf{\sigma }}_{11} & \cdots & {\mathbf{\sigma }}_{{n}_{\mathrm{T}}1} \\ \vdots & \ddots & \vdots \\ {\mathbf{\sigma }}_{1{n}_{\mathrm{T}}} & \cdots & {\mathbf{\sigma }}_{{n}_{n}{n}_{\mathrm{T}}} \end{matrix}\right\rbrack$

1.2 风电场发电量优化模型

假设每个$k$时刻对应的环境风况${w}_{k} = \left( {w}_{\mathrm{s}, k}\right.$,$\left. {w}_{\mathrm{d}, k}\right)$发生改变,其中${w}_{\mathrm{s}, k}$为环境风速,${w}_{\mathrm{d}, k}$为环境风向。而在$\left\lbrack {k, k + 1}\right\rbrack$时间段内,环境风况保持不变, 所有风机的偏航角${\mathit{{yaw}}}_{k} = \left( {{\mathit{{yaw}}}_{k,1},{\mathit{{yaw}}}_{k,2},\cdots ,{\mathit{{yaw}}}_{k,{n}_{\mathrm{T}}}}\right)$保持不变。令控制的总时长为$T$,风电场发电量优化目标为$T$时长内风电场的总发电量最大化, 即:

(4)$\mathop{\max }\limits_{\text{yaw }}\mathop{\sum }\limits_{{i = 1}}^{{n}_{\mathrm{T}}}\mathop{\sum }\limits_{{k = 1}}^{n}{\int }_{k}^{k + 1}P\left( {t - k, W{F}_{k},{w}_{k, i},{ya}{w}_{k, i}}\right) \mathrm{d}t$

式中:$i$为风机序号;$P$为功率计算函数;$W{F}_{k}$为$k$时刻风电场中风速分布。

(5)$W{F}_{k} = {f}_{\mathrm{{WF}}}\left( {W{F}_{k - 1},{w}_{k - 1},{ya}{w}_{k - 1}}\right)$

2 尾流加速估计方法

收起

作为风电场尾流仿真的代表性模型, FLORIDyn 能够动态地描绘风电场尾流的发展和分布, 从而获得更为精确的风电场仿真结果。然而, 虽然 FLORIDyn 提高了仿真准确性, 但较低的计算效率限制了其在需要快速响应的场景中的应用, 从而对实时尾流控制策略的实施带来了挑战。

本文探究了仿真主循环过程, 发现其中计算单台风机所在平面 $\mathrm{{OP}}$ 点的有效风速占据了大量计算资源。其中,有效风速计算这一关键步骤的核心算法即为 knnsearch 函数 ^{[ 21 ]} ,其用于查找其他风机产生的尾流对当前风机各 OP 点的影响程度。具体而言, 在 knnsearch 函数的实际应用中, 当须要分析一台后排风机对其前方某台风机的 OP 点造成的尾流效应时,会从这台前排风机的所有 OP 点集合中进行搜索操作。例如, 如图 1 所示, 其搜索空间中包含前排第 $i$ 台风机所有 6000 个 OP 点, 大数据量搜索增加了计算负担。

在计算 $\mathrm{{OP}}$ 之间的互相影响时,只有在 $\mathrm{{OP}}$ 之间距离小于 ${0.25D}\left( D\right)$ 为风轮直径) 的情况下,才会认为存在影响。所以对搜索区域进行剪枝,将搜索的 OP 点范围限定在不超过风机平面 ${0.25D}$ 的区域, 能够提高搜索效率, 并最低程度地影响仿真结果。新搜索区域为

(6)${\Omega }_{\text{search }}\left( {j, i}\right) = \\ \left\{ \begin{array}{l} \mathrm{{OP}} \in {\Omega }_{i} \\ {x}_{\min }\left( j\right) - {0.25D} \leq {x}_{\mathrm{{OP}}} \leq {x}_{\max }\left( j\right) + {0.25D} \\ {y}_{\min }\left( j\right) - {0.25D} \leq {y}_{\mathrm{{OP}}} \leq {y}_{\max }\left( j\right) + {0.25D} \\ {z}_{\min }\left( j\right) - {0.25D} \leq {z}_{\mathrm{{OP}}} \leq {z}_{\max }\left( j\right) + {0.25D} \end{array}\right.$

式中: ${\mathbf{\Omega }}_{\text{search }}\left( {j, i}\right)$ 为对于第 $j$ 台风机,第 $i$ 台风机的 OP 点的搜索范围; ${x}_{\max }\left( j\right) ,{y}_{\max }\left( j\right) ,{z}_{\max }\left( j\right)$ 分别为第 $j$ 台风机 OP 点的坐标在 $x, y, z$ 轴的最大值； ${x}_{\min }\left( j\right)$ , ${y}_{\min }\left( j\right) ,{z}_{\min }\left( j\right)$ 分别为第 $j$ 台风机 OP 点的坐标在 $x, y, z$ 轴的最小值。

改进后的搜索区域如图 2 所示。剪枝改进后的观察点数量降至 70 个。

3 尾流控制策略

收起

本文提出了一种创新的风电场尾流控制策略, 该策略结合了图卷积神经网络(GCN)训练的代理模型和多智能体强化学习方法。GCN 将风电场内风机间的尾流关系矩阵作为图形结构的拓扑信息基础,不仅能够实现对风况变量 (风速、风向)、偏航角度和功率输出的高精度预测,而且通过多智能体强化学习框架下的尾流关系分区共享奖励机制,显著提升了全局寻优效率。

3.1 风场代理模型

作为一种能够有效处理拓扑数据的深度学习模型,基于式 (6) 给出的尾流关系矩阵, GCN 能够有效捕获风场中风机之间的复杂交互关系对输出功率的影响。具体算法流程如下。

①数据预处理

基于改进的尾流估计模型, 并行收集风速、风向、偏航角度和功率输出等数据构建数据集,并根据尾流效应构建对应的尾流关系矩阵。

②构建GCN 模型

设计多层图卷积层结构, 定义输入层节点特征为包含风况信息(风速、风向)和偏航角度在内的综合状态向量, 而输出层致力于映射至目标功率值。对于基于谱的图卷积层,首先定义尾流关系矩阵为邻接矩阵, 通过拉普拉斯矩阵或其他形式的图滤波器对节点特征进行卷积操作。

③模型训练

采用尾流加速估计生成的数据集对 GCN 模型进行训练, 通过前向传播计算得到预测功率值, 然后运用反向传播算法更新网络权值。

④泛化能力评估

在独立且未参与训练的测试集上严格评估训练后的 GCN 模型的泛化能力, 确保模型能够在面对新的风况环境和各种偏航配置时, 依然能够提供可靠的功率预测输出。

3.2 基于多智能体强化学习的尾流控制策略生成

为了实现风电场的整体功率优化, 本文基于完全分布式的多智能体强化学习框架 ^{[ 22 ]} ,在其基础上通过尾流关系分区共享奖励的方式提高寻优效率。

在设定的多智能体强化学习框架中, 每个风机均被视为独立的智能体进行寻优, 生成可以实现整体目标的独立策略。强化学习框架中的部分可观察马尔可夫决策过程定义如下。

强化学习智能体的状态由环境风况给出, 即对于任一智能体$i = 1,2,\cdots ,{n}_{\mathrm{{To}}}$

(7)${s}_{k, i} = {w}_{k} = \left( {{w}_{\mathrm{s}, k},{w}_{\mathrm{d}, k}}\right)$

强化学习智能体的动作由偏航角给出。

(8)${a}_{k, i} = {\operatorname{yaw}}_{k, i}$

强化学习智能体的独立即时奖励一般设置为其局部输出功率${P}_{k, i}$。

(9)${r}_{k + 1, i} = {P}_{k, i} = \mathop{\sum }\limits_{{k = 1}}^{n}{\int }_{k}^{k + 1}P\left( {t - k, W{F}_{k},{w}_{k, i},{ya}{w}_{k, i}}\right) \mathrm{d}t$

${P}_{k, i}$可由风电场尾流仿真计算。为了与强化学习算法结合, 将独立即时奖励设置为

(10)${r}_{k + 1, i} = \frac{{P}_{k, i} - {P}_{0, i}}{\alpha \mathop{\sum }\limits_{{i = 1}}^{{n}_{\mathrm{T}}}{P}_{0, i}}$

式中:${P}_{0, i}$为所有风机正对风情况,即贪心策略下风机$i$输出功率的基准值;$\alpha$为比例系数,可以根据强化学习算法的超参数调整。

通过对尾流关系矩阵设定阈值, 可以将风电场划分为多个区域, 奖励机制被设计为区域内共享, 即区域内所有风机的总功率增益作为共同的奖励信号。奖励区域内共享机制可由一致性协议实现。

(11)${r}_{k + 1, i} \leftarrow {r}_{k + 1, i} + \beta \sum {\widehat{\sigma }}_{ij}\left( {{r}_{k + 1, j} - {r}_{k + 1, i}}\right)$

式中:$\beta$为一致性步长;${\widehat{\sigma }}_{ij}$为经阈值裁剪后的尾流关系系数;${r}_{k + 1, i}$为得到的区域一致奖励。

奖励区域内共享机制鼓励了风机之间的合作, 并避免了无关风机对于寻优过程的影响, 提高了寻优效率。具体算法流程如下。

①环境定义

将风电场环境模型转化为一个多智能体强化学习环境, 每个风机智能体根据观测到的本地风况采取行动,即调整偏航角度。

②动作空间和观测空间定义

智能体的动作空间为其可调整的偏航角度范围,观测空间为环境风况。

③策略学习

每个智能体采用独立的强化学习算法学习最优偏航控制策略,强化学习智能体价值网络损失函数为

(12)$L\left( {\theta }_{i}\right) = \operatorname{IE}\left\{ {\left\lbrack {y}_{k, i} - {Q}_{i}\left( {s}_{k, i},{a}_{k, i},{\theta }_{i}\right) \right\rbrack }^{2}\right\}$

式中:${Q}_{i}$为智能体$i$的价值网络,其参数为${\theta }_{i};{y}_{k, i}$为网络目标值。

完全分布式学习框架下的目标值为 ^{[ 22 ]}

(13)${y}_{k, i} \leftarrow \max \left\lbrack {{r}_{k + 1, i} + d{\gamma }_{\mathrm{{RL}}}{Q}_{i}\left( {{s}_{k, i},{a}_{k, i},{\theta }_{i}}\right) ,{Q}_{i}\left( {{s}_{k, i},{a}_{k, i},{\theta }_{i}}\right) }\right\rbrack$

式中:$d$为回合终止指标;${\gamma }_{\mathrm{{RL}}}$为强化学习衰减系数。

④协同优化

在多次迭代和交互后, 所有智能体逐渐收敛到一组协同的偏航控制策略。

4 仿真测试

收起

本节选择某 28 台风机的实际风电场进行测试, 28 台风机风电场的拓扑图如图 3 所示。

仿真测试包括两部分: 一方面, 对剪枝操作带来的性能提升进行测试, 选取基于高斯 FLORIS 模型的方法作为对照, 对比改进前、后得到的风机有效风速与风机之间的尾流影响关系; 另一方面, 针对基于多智能体强化学习得到的尾流控制策略进行测试, 包含多个风况下的风电场功率, 并与贪心控制策略进行比较。

4.1 尾流加速估计测试

尾流加速估计测试取多个风况点与风机偏航组合, 运行改进的仿真程序并测试仿真时间, 取平均值 (表 1), 改进后多风机风电场的仿真效率提升了 800%以上。

为对比改进前、后得到的所有仿真数据结果一致性,选择来风方向为-30${}^{ \circ }$的环境风况进行仿真, 仿真数据结果如图 4 所示。

由图 4 可知, 优化后的方法可以在极大提高程序计算效率的同时, 得到误差非常小的风机有效风速。

4.2 尾流控制策略测试

为了生成尾流控制策略, 首先基于 GCN 训练了风场环境的代理模型。基于尾流加速估计和并行计算高效构建大规模风场环境数据集,数据包括风速、风向、风机位置、叶片状态等各种影响尾流的因素。利用获取的数据集, 可以训练出精确的代理模型来模拟尾流效应。图 5 为代理模型训练测试集上的平均 MSE 误差曲线。

由图 5 可知,代理模型精度可达到${10}^{-3}$量级,可以支持控制算法的运行。在控制过程中,代理模型能够快速提供尾流效应的预测结果, 从而实现对风电场运行状态的实时监控和优化控制。基于上述代理模型,采用多智能体强化学习方法进行决策。其中环境风况在${w}_{\mathrm{s}, k} \in \left\lbrack {4,{10}}\right\rbrack ,{w}_{\mathrm{d}, k} \in$$\left\lbrack {-{60},{60}}\right\rbrack$内取随机值进行训练,以实现训练后的智能体可以在随机风况下得到最优偏航角。智能体偏航的控制范围为${ya}{w}_{i} \in \left\lbrack {-{30},{30}}\right\rbrack ,{\forall }_{i} = 1,2$,$\cdots ,{n}_{\mathrm{{To}}}$

训练过程中共进行 10 次测试, 记录训练的网络损失,并在训练过程中以${w}_{\mathrm{s}, k} = 6,{w}_{\mathrm{d}, k} = - {45}$作为观测风况, 获取测试奖励。网络损失与测试奖励随训练过程的变化曲线如图 6 所示。

由图 6 可知:训练早期回合奖励波动大,反映出模型初探环境与策略的不确定性, 随训练深入,奖励趋于平稳增长,标志着学习与策略优化的进步;初始阶段的网络损失通常较高, 这是因为在模型试图拟合复杂环境和策略时会面临较大的挑战, 随着训练深入, 损失呈现下降趋势, 这表明模型的参数正在逐步调整以更好地适应和预测环境变化,从而提高决策的准确性和效率。在特定风况${w}_{\mathrm{s}, k} = 6,{w}_{\mathrm{d}, k} = - {45}$时进行测试奖励分析, 发现奖励增大且波动减小, 进一步证实了模型效能的提升。

在长期训练后,智能体价值网络可以针对任何风况实时生成策略。算法对于特定风况${w}_{\mathrm{s}, k} = 6$,${w}_{\mathrm{d}, k} = - {45}$给出的策略训练结果如表 2 所示。

相对贪心策略, 偏航优化后的功率提升可达 1.74%,揭示了模型在随机风况训练过程中逐渐具备面向特定风况提供最优策略的能力, 表明了算法可以针对风况实现泛化并制定有效的策略。

在随机 100 种不同环境风况测试中, 预训练智能体即刻提供最优偏航设置, 平均功率增益为 1.32%,显示其策略广泛适用且效果显著,尤其在改善潜力有限的条件下。智能体展现卓越的风况泛化能力,不仅在熟悉风况中表现优异,还成功适应未经训练的新风况, 表明该策略的有效性和灵活性。

5 结论

收起

本文针对新能源扩张及海上风电发展趋势, 聚焦风电场控制的尾流效应模型与主动控制策略。通过对高斯 FLORIDyn 模型的优化, 特别是采用搜索剪枝技术加速尾流估算, 大幅提升了模拟效率。本文创新融合了图卷积网络代理模型与多智能体强化学习, 以风场尾流关联矩阵为依据, 精准捕捉风机相互作用力对发电量的复杂影响, 并通过分区尾流关联共享奖励机制, 增强了学习效率。

仿真试验不仅证明了剪枝技术对风机性能的积极影响,也展示了改进后风电场模拟的高效性。在多变风况下, 相较于传统贪心策略, 测试的多智能体强化学习尾流控制策略能有效提升风电场总功率输出, 展现出其优越性。

基金

收起

南方电网公司科技项目资助）(036000KK52222044(GDKJXM20222430))

参考文献

收起

文献

收起

参考文献引证文献

排序方式：

[1]

佚名. 中国风电产业发展报告(2023)[J]. 电气时代, 2023, 2023(5): 14-19.

[2]

Anaya-Lara

, Jenkins

, Ekanayake

, et al. Wind Energy Generation: Modelling and Control[M]. Hoboken: John Wiley Sons, 2011.

[3]

Shen

, Xiao

, Lv

, et al. Coordinated optimal control of active power of wind farms considering wake effect[J]. Energy Reports, 2022, 8(8): 84-90.

[4]

Sanderse

, Pijl

S P

, Koren

, . Review of computational fluid dynamics for wind turbine wake aerodynamics[J]. Wind Energy, 2011, 14(7): 799-819.

[5]

Xiao

, Cao

, Liang

, et al. Design and implementation of a general batch simulation tool of SOWFA and its application in training a single -turbine surrogate[J]. Energy Reports, 2023, 9(9): 419-426.

[6]

Jensen

N O

. A note on wind turbine interaction[R]. Roskilde: Risoe National Laboratory, 1983.

[7]

Katic

, Højstrup

, Jensen

N O

. A simple model for cluster efficiency[A]. European Wind Energy Association Conference and Exhibition[C].Rome:In W. Palz,& E.Sesto(Eds.), 1986.407-410.

[8]

Gebraad

PMO

, Teeuwisse

F W

, Van

Wingerden JW

, et al. A data-driven model for wind plant power optimization by yaw control[A]. 2014 American Control Conference[C].Portland:IEEE, 2014.3128-3134.

[9]

Gebraad

PM O

, Van

Wingerden JW

. A control -oriented dynamic model for wakes in wind plants[J]. Journal of Physics: Conference Series, 2014, 524(1): 012186.

[10]

Bastankhah

, Porté-Agel

. A new analytical model for wind-turbine wakes[J]. Renewable Energy, 2014, 70: 116-123.

[11]

Bastankhah

, Porté-Agel

. Experimental and theoretical study of wind turbine wakes in yawed conditions[J]. Journal of Fluid Mechanics, 2016, 806: 506-541.

[12]

张新鸽. 永磁直驱风电系统的最大功率点跟踪控制及其优化研究[D]. 汕头: 汕头大学, 2022.

[13]

Cardenas

, Pena

. Sensorless vector control of induction machines for variable -speed wind energy applications[J]. IEEE Transactions on Energy Conversion, 2004, 19(1): 196-205.

[14]

Datta

, Ranganathan

V T

. A method of tracking the peak power points for a variable speed wind energy conversion system[J]. IEEE Transactions on Energy Conversion, 2007, 18(10): 57.

[15]

Morimoto

, Nakayama

, Sanada

, et al. Sensorless output maximization control for variable-speed wind generation system using ipmsg[J]. IEEE Transactions on Industry Applications, 2005, 41(1): 60-67.

[16]

李啸吟. 风电机组尾流影响和风电场功率提升研究[D]. 沈阳: 沈阳工业大学, 2022.

[17]

Yang

, Deng

, Ti

, et al. Cooperative yaw control of wind farm using a double-layer machine learning framework[J]. Renewable Energy, 2022, 193: 519-537.

[18]

Anagnostopoulos

, Piggott

M D

. Offshore wind farm wake modelling using deep feed forward neural networks for active yaw control and layout optimisation[J]. Journal of Physics: Conference Series, 2022, 2151(1): 2001-2011.

[19]

Neustroev

, Andringa

SPE

, Verzijlbergh

R A

, et al. Deep reinforcement learning for active wake contro[A]. Proceedings of the 21st International Conference on Autonomous Agents and Multiagent Systems (AAMAS)[C].Auckland:IFAAMAS, 2022.944-953.

[20]

丁俐夫, 颜钢锋. 多智能体系统安全性问题及防御机制综述[J]. 智能系统学报, 2020, 15(3): 425-434.

[21]

Wang

, Xiao

, Chen

, et al. An accelerated algorithm for estimating wake interactions between wind turbines with FLORIDyn[A]. 2023 IEEE 7th Conference on Energy Internet and Energy System Integration (EI2)[C].Hangzhou:IEEE, 2023.

[22]

Ding

, Lin

, Shi

, et al. Target-value-competition -based multi-agent deep reinforcement learning algorithm for distributed nonconvex economic dispatch[J]. IEEE Transactions on Power Systems, 2022, 38(1): 204-217.

2025年第43卷第4期

PDF下载

313

166

引用本文

BibTeX

文章信息

接收时间：2024-02-02
首发时间：2025-07-18
出版时间：2025-04-20

补充材料

相关文章

文章信息

作者

出版历史

收稿日期：2024-02-02

基金

南方电网公司科技项目资助）(036000KK52222044(GDKJXM20222430))

作者信息

¹ 广东电网有限公司调度控制中心广东广州 510600

² 清华大学电机工程与应用电子技术系北京 100084

通讯作者:

丁俐夫(1996-),男,博士,助理研究员,研究方向为电力系统优化运行与控制。E-mail:dinglifu@mail.tsinghua.edu.cn 。

参考文献

分享链接

https://castjournals.cast.org.cn/joweb/kzsny/CN/1152988710846059146

分享至

全文二维码

扫描看全文

引用本文

BibTeX

本文的引用情况

2种不同金属材料的力学参数

科 Family	属数 Number of genus	种数 Number of species	占总种数比例 Percentage of total species (%)	属 Genus	种数 Number of species	占总种数比例 Percentage of total species (%)
鹅膏菌科Amanitaceae	2	11	5.26	鹅膏菌属 Amanita	10	4.78
小菇科 Mycenaceae	2	12	5.74	丝盖伞属 Inocybe	5	2.39
多孔菌科 Polyporaceae	8	14	6.70	蜡蘑属 Laccaria	5	2.39
红菇科 Russulaceae	3	23	11.00	小皮伞属 Marasmius	6	2.87
				小菇属 Mycena	11	5.26
				光柄菇属 Pluteus	5	2.39
				红菇属 Russula	17	8.13
				栓菌属 Trametes	5	2.39

关闭全屏

BibTeX
EndNote
RefWorks
TxT